Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

spark spark-env.sh에서 사용할 수있는 항목.

총관리자 2016.05.24 16:53 조회 수 : 568

Environment Variable

spark-env.sh에서 사용할 수있는 항목.


SPARK_MASTER_IP	-	Spark 마스터가 바인딩 할 특정 IP 주소.
SPARK_MASTER_PORT	7077	마스터를 부팅하는 포트.
SPARK_MASTER_WEBUI_PORT	8080	마스터 Web UI 포트.
SPARK_MASTER_OPTS	-	마스터에만 적용되는 속성을 "-Dx = y"로 지정.
SPARK_LOCAL_DIRS	/ tmp	디스크에 저장되는 map 출력과 RDDs을 포함한 Spark의 "스크래치"공간에 사용할 디렉토리. 이것은 당신의 시스템에서 빠른 로컬 디스크이어야합니다. 쉼표로 구분 된 여러 디스크를 지정할 수도 있습니다. ※ spark.local.dir과 같다. 이 경우의 디폴트는 / tmp.
SPARK_WORKER_CORES	(사용 가능한 코어 수)	Spark 응용 프로그램이 사용할 수있는 컴퓨터의 코어 수를 지정합니다. 기본값은 모든 사용 가능한 코어 수.
SPARK_WORKER_MEMORY	(총 메모리에서 마이너스 1GB)	Spark 응용 프로그램이 사용할 수있는 컴퓨터의 총 메모리 양을 지정합니다. 예 : 1000m, 2g (기본값은 전체 메모리에서 마이너스 1GB) 각 개별 응용 프로그램의 메모리 spark.executor.memory 속성에 의해 정의되는 것에주의할 것.
SPARK_WORKER_PORT	(random)	Worker가 시작될 때 포트를 지정합니다.
SPARK_WORKER_WEBUI_PORT	8081	Worker 용 Web UI 포트.
SPARK_WORKER_INSTANCES	1	각 시스템에서 시작시 생성되는 Worker 인스턴스의 수입니다. 매우 높은 사양의 컴퓨터에서 멀티 Spark worker 프로세스를 선호한다면 1 이상으로하는 것도 가능하다.만약 그렇게한다면 반드시 SPARK_WORKER_CORES를 명시 적으로 설정하여 하나의 worker 대한 코어 수를 제한해야한다. 그렇게하지 않으면 각 worker는 모든 코어를 사용하는 것을 시도 것이다.
SPARK_WORKER_DIR	$ SPARK_HOME / work	응용 프로그램이 사용하는 디렉토리를 지정한다. 로그 및 스크래치 공간이 포함된다.
SPARK_WORKER_OPTS	-	worker에만 적용되는 속성을 "-Dx = y"형태로 지정한다.
SPARK_DAEMON_MEMORY	512m	Spark master와 worker 각각 자신에게 할당 된 메모리를 지정합니다.
SPARK_DAEMON_JAVA_OPTS	-	Spark master와 worker 각각 자신에게 할당할 JVM 옵션을 "-Dx = y"로 지정한다.
SPARK_PUBLIC_DNS	-	Spark master 및 workers의 공용 DNS.

SPARK_WORKER_MEMORY은 중요하기 때문에 여기에서 보충.SPARK_WORKER_MEMORY의 범위 내에서 spark.executor.memory을 별도 정의하게되는데, executor가 차지하는 비중 다른 관리를 위해 수백 MB 정도 남겨두면 좋을 듯. 하지만 거기의 균형은 물론 환경에 의한 다.

SPARK_MASTER_OPTS

SPARK_MASTER_OPTS가 지원하는 속성.


spark.deploy.spreadOut	true	standalone 클러스터 관리자가 모든 노드에 응용 프로그램을 배포해야하거나 그들을 가능한 한 적은 노드로 통합 하는가? 널리 배포 할 일반적으로 HDFS의 지역성에 바람직하다. 그러나 계산 집약적 인 워크로드에 집약시키는 것이 효과적이다.
spark.deploy.defaultCore	(infinite)	spark.cores.max을 설정하지 않은 경우, Spark standalome 모드에서 할당 기본 코어 수. 설정되어 있지 않으면 응용 프로그램은 그 자체로 spark.cores.max을 정의하지 않는 한 항상 사용 가능한 코어를 취득한다. 공유 클러스터에서는 기본적으로 모든 클러스터를 취득하는 것을 방지하기 위해 낮은 값으로 설정한다.
spark.worker.timeout	60	standalome deploy 마스터가 worker와 하트 비트 통신이 두절 때 worker가 사라진 것을 인식 시간 제한 값을 초 단위로 지정합니다.

SPARK_WORKER_OPTS

SPARK_WORKER_OPTS가 지원하는 속성.


spark.worker.cleanup.enabled	false	worker / applicatin 디렉토리의 정기적 인 정리를 사용한다. 이것은 standalone 모드에서만 유효하며 YARN에서는 다른 동작이되는 일에주의. 사용하면 응용 프로그램이 이미 실행 여부에 관계없이 application 디렉토리 정리된다.
spark.worker.cleanup.interval	1800 (30 min)	로컬 컴퓨터에서 오래된 application work 디렉토리를 정리하는 간격을 초 단위로 지정합니다.
spark.worker.cleanup.appDataTtl	7 * 24 * 3600 (7 days)	각 worker에서 application work 디렉토리를 유지하는 시간을 초 단위로 지정합니다. 이것은 생존 기간이며, 또한 사용 가능한 디스크 공간 용량에 따라 결정해야한다. application logs 및 jars는 각 application work 디렉토리에 다운로드된다. 특히 당신이 작업을 매우 자주 실행하고있는 경우 시간이 지나면 그 work 디렉토리는 바로 디스크 공간을 압박 할 가능성이있다.

High Availability

ZooKeeper를 물지시켜 HA 구성 할 수 있습니다. 본문에 따르면, 퍼스트 리더가 다운에서 걸리는 총 복구 프로세스는 약 1-2 분 정도 걸리는 것. 이 지연은 새로운 애플리케이션의 스케줄링에만 영향을 이미 실행중인 응용 프로그램은 마스터 장애 조치 영향을주지 않는다.

호스트 이름을 쉼표로 구분 OK.

1	`export` `STANDALONE_SPARK_MASTER_HOST = master1, master2`


spark.deploy.recoveryMode	-	"ZOOKEEPER"로 설정한다.
spark.deploy.zookeeper.url	-	쉼표로 구분 ZooKeeper 쿼럼 호스트 이름 or IP를 지정.
spark.deploy.zookeeper.dir	-	ZooKeeper가 복구 상태를 저장하는 디렉토리. 기본값은 / spark.

Spark properties for YARN


spark.yarn.applicationMaster.waitTries	10	ApplicationMaster이 Spark master를 기다릴 수. 또한 SparkContext가 초기화 될 때까지 트라이 할 수.
spark.yarn.submit.file.replication	3	응용 프로그램이 HDFS에 업로드하는 파일의 HDFS 복제 수. 이들은 Spark jar, app jar 또한 모든 분산 캐시 파일 / 아카이브가 포함된다.
spark.yarn.preserve.staging.files	false	작업 종료시에 작업중에 생성된 파일 (Spark jar, app jar, distributed cache files)을 제거하는 것이 아니라 보존하고 싶은 경우는 true한다.
spark.yarn.scheduler.heartbeat.interval - ms	5000	Spark application master에서 YARN ResourceManager에 하트 비트 간격을 밀리 세컨드로 지정.
spark.yarn.max.executor.failure	2 * numExecutors	응용 프로그램이 실패할 경우 이전 실패한 executor의 최대 수.
spark.yarn.historyServer.addres	(none)	Spark 히스토리 서버의 주소. (예 : host.com : 18080) 주소는 스키마 (http : //)을 포함하는 것이다. 히스토리 서버는 선택적 서비스에 대한 기본 아무것도 설정되어 있지 않다. 이 주소는 Spark application이 종료 할 때 ResourceManager UI에서 Spark 히스토리 서버에 application의 링크를 풀칠하기 위하여 YARN ResourceManager에 전달된다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
120	"Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항	총관리자	2016.05.25	1030
»	spark-env.sh에서 사용할 수있는 항목.	총관리자	2016.05.24	568
118	Spark 1.6.1 설치후 HA구성	총관리자	2016.05.24	455
117	spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법	총관리자	2016.05.20	551
116	Master rejected startup because clock is out of sync 오류 해결방법	총관리자	2016.05.03	60
115	kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법	총관리자	2016.05.02	2337
114	kafka 0.9.0.1 for scala 2.1.1 설치및 테스트	총관리자	2016.05.02	412
113	Spark 2.1.1 clustering(5대) 설치(YARN기반)	총관리자	2016.04.22	1882
112	Hadoop 완벽 가이드 정리된 링크	총관리자	2016.04.19	205
111	bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용	총관리자	2016.04.14	70
110	Cassandra 3.4(3.10) 설치/설정 (5대로 clustering)	총관리자	2016.04.11	397
109	Incompatible clusterIDs오류 원인및 해결방법	총관리자	2016.04.01	493
108	namenode오류 복구시 사용하는 명령	총관리자	2016.04.01	377
107	"java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항	총관리자	2016.04.01	3026
106	CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함	총관리자	2016.03.29	1138
105	Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기	총관리자	2016.03.11	137
104	CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기	총관리자	2016.01.14	158
103	mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법	총관리자	2015.12.22	145
102	console명령과 API비교	총관리자	2015.12.21	120
101	DB별 JDBC 드라이버	총관리자	2015.10.02	256

쓰기 태그

첫 페이지 12 13 14 15 16 17 18 19 20 21 끝 페이지

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

spark spark-env.sh에서 사용할 수있는 항목.

댓글 0

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다. 필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

spark spark-env.sh에서 사용할 수있는 항목.

댓글 0

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc. We are open to the required minutes. Please send inquiries to gooper@gooper.com.

LOGIN

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.