Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

spark spark-env.sh에서 사용할 수있는 항목.

총관리자 2016.05.24 16:53 조회 수 : 569

Environment Variable

spark-env.sh에서 사용할 수있는 항목.


SPARK_MASTER_IP	-	Spark 마스터가 바인딩 할 특정 IP 주소.
SPARK_MASTER_PORT	7077	마스터를 부팅하는 포트.
SPARK_MASTER_WEBUI_PORT	8080	마스터 Web UI 포트.
SPARK_MASTER_OPTS	-	마스터에만 적용되는 속성을 "-Dx = y"로 지정.
SPARK_LOCAL_DIRS	/ tmp	디스크에 저장되는 map 출력과 RDDs을 포함한 Spark의 "스크래치"공간에 사용할 디렉토리. 이것은 당신의 시스템에서 빠른 로컬 디스크이어야합니다. 쉼표로 구분 된 여러 디스크를 지정할 수도 있습니다. ※ spark.local.dir과 같다. 이 경우의 디폴트는 / tmp.
SPARK_WORKER_CORES	(사용 가능한 코어 수)	Spark 응용 프로그램이 사용할 수있는 컴퓨터의 코어 수를 지정합니다. 기본값은 모든 사용 가능한 코어 수.
SPARK_WORKER_MEMORY	(총 메모리에서 마이너스 1GB)	Spark 응용 프로그램이 사용할 수있는 컴퓨터의 총 메모리 양을 지정합니다. 예 : 1000m, 2g (기본값은 전체 메모리에서 마이너스 1GB) 각 개별 응용 프로그램의 메모리 spark.executor.memory 속성에 의해 정의되는 것에주의할 것.
SPARK_WORKER_PORT	(random)	Worker가 시작될 때 포트를 지정합니다.
SPARK_WORKER_WEBUI_PORT	8081	Worker 용 Web UI 포트.
SPARK_WORKER_INSTANCES	1	각 시스템에서 시작시 생성되는 Worker 인스턴스의 수입니다. 매우 높은 사양의 컴퓨터에서 멀티 Spark worker 프로세스를 선호한다면 1 이상으로하는 것도 가능하다.만약 그렇게한다면 반드시 SPARK_WORKER_CORES를 명시 적으로 설정하여 하나의 worker 대한 코어 수를 제한해야한다. 그렇게하지 않으면 각 worker는 모든 코어를 사용하는 것을 시도 것이다.
SPARK_WORKER_DIR	$ SPARK_HOME / work	응용 프로그램이 사용하는 디렉토리를 지정한다. 로그 및 스크래치 공간이 포함된다.
SPARK_WORKER_OPTS	-	worker에만 적용되는 속성을 "-Dx = y"형태로 지정한다.
SPARK_DAEMON_MEMORY	512m	Spark master와 worker 각각 자신에게 할당 된 메모리를 지정합니다.
SPARK_DAEMON_JAVA_OPTS	-	Spark master와 worker 각각 자신에게 할당할 JVM 옵션을 "-Dx = y"로 지정한다.
SPARK_PUBLIC_DNS	-	Spark master 및 workers의 공용 DNS.

SPARK_WORKER_MEMORY은 중요하기 때문에 여기에서 보충.SPARK_WORKER_MEMORY의 범위 내에서 spark.executor.memory을 별도 정의하게되는데, executor가 차지하는 비중 다른 관리를 위해 수백 MB 정도 남겨두면 좋을 듯. 하지만 거기의 균형은 물론 환경에 의한 다.

SPARK_MASTER_OPTS

SPARK_MASTER_OPTS가 지원하는 속성.


spark.deploy.spreadOut	true	standalone 클러스터 관리자가 모든 노드에 응용 프로그램을 배포해야하거나 그들을 가능한 한 적은 노드로 통합 하는가? 널리 배포 할 일반적으로 HDFS의 지역성에 바람직하다. 그러나 계산 집약적 인 워크로드에 집약시키는 것이 효과적이다.
spark.deploy.defaultCore	(infinite)	spark.cores.max을 설정하지 않은 경우, Spark standalome 모드에서 할당 기본 코어 수. 설정되어 있지 않으면 응용 프로그램은 그 자체로 spark.cores.max을 정의하지 않는 한 항상 사용 가능한 코어를 취득한다. 공유 클러스터에서는 기본적으로 모든 클러스터를 취득하는 것을 방지하기 위해 낮은 값으로 설정한다.
spark.worker.timeout	60	standalome deploy 마스터가 worker와 하트 비트 통신이 두절 때 worker가 사라진 것을 인식 시간 제한 값을 초 단위로 지정합니다.

SPARK_WORKER_OPTS

SPARK_WORKER_OPTS가 지원하는 속성.


spark.worker.cleanup.enabled	false	worker / applicatin 디렉토리의 정기적 인 정리를 사용한다. 이것은 standalone 모드에서만 유효하며 YARN에서는 다른 동작이되는 일에주의. 사용하면 응용 프로그램이 이미 실행 여부에 관계없이 application 디렉토리 정리된다.
spark.worker.cleanup.interval	1800 (30 min)	로컬 컴퓨터에서 오래된 application work 디렉토리를 정리하는 간격을 초 단위로 지정합니다.
spark.worker.cleanup.appDataTtl	7 * 24 * 3600 (7 days)	각 worker에서 application work 디렉토리를 유지하는 시간을 초 단위로 지정합니다. 이것은 생존 기간이며, 또한 사용 가능한 디스크 공간 용량에 따라 결정해야한다. application logs 및 jars는 각 application work 디렉토리에 다운로드된다. 특히 당신이 작업을 매우 자주 실행하고있는 경우 시간이 지나면 그 work 디렉토리는 바로 디스크 공간을 압박 할 가능성이있다.

High Availability

ZooKeeper를 물지시켜 HA 구성 할 수 있습니다. 본문에 따르면, 퍼스트 리더가 다운에서 걸리는 총 복구 프로세스는 약 1-2 분 정도 걸리는 것. 이 지연은 새로운 애플리케이션의 스케줄링에만 영향을 이미 실행중인 응용 프로그램은 마스터 장애 조치 영향을주지 않는다.

호스트 이름을 쉼표로 구분 OK.

1	`export` `STANDALONE_SPARK_MASTER_HOST = master1, master2`


spark.deploy.recoveryMode	-	"ZOOKEEPER"로 설정한다.
spark.deploy.zookeeper.url	-	쉼표로 구분 ZooKeeper 쿼럼 호스트 이름 or IP를 지정.
spark.deploy.zookeeper.dir	-	ZooKeeper가 복구 상태를 저장하는 디렉토리. 기본값은 / spark.

Spark properties for YARN


spark.yarn.applicationMaster.waitTries	10	ApplicationMaster이 Spark master를 기다릴 수. 또한 SparkContext가 초기화 될 때까지 트라이 할 수.
spark.yarn.submit.file.replication	3	응용 프로그램이 HDFS에 업로드하는 파일의 HDFS 복제 수. 이들은 Spark jar, app jar 또한 모든 분산 캐시 파일 / 아카이브가 포함된다.
spark.yarn.preserve.staging.files	false	작업 종료시에 작업중에 생성된 파일 (Spark jar, app jar, distributed cache files)을 제거하는 것이 아니라 보존하고 싶은 경우는 true한다.
spark.yarn.scheduler.heartbeat.interval - ms	5000	Spark application master에서 YARN ResourceManager에 하트 비트 간격을 밀리 세컨드로 지정.
spark.yarn.max.executor.failure	2 * numExecutors	응용 프로그램이 실패할 경우 이전 실패한 executor의 최대 수.
spark.yarn.historyServer.addres	(none)	Spark 히스토리 서버의 주소. (예 : host.com : 18080) 주소는 스키마 (http : //)을 포함하는 것이다. 히스토리 서버는 선택적 서비스에 대한 기본 아무것도 설정되어 있지 않다. 이 주소는 Spark application이 종료 할 때 ResourceManager UI에서 Spark 히스토리 서버에 application의 링크를 풀칠하기 위하여 YARN ResourceManager에 전달된다.

이 게시물을

번호	제목	글쓴이	날짜	조회 수
90	[sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법	총관리자	2018.10.16	216
89	hive metastore ERD	총관리자	2018.09.20	745
88	oracle to hive data type정리표	총관리자	2018.08.22	766
87	RHEL 7.4에 zeppelin 0.7.4 설치	총관리자	2018.07.31	196
86	conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0)	총관리자	2018.07.30	423
85	upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script	총관리자	2018.07.03	1224
84	Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음)	총관리자	2018.04.20	110
83	우분투 16.04LTS에 Zeppelin 0.7.3설치	총관리자	2018.04.18	198
82	CentOS 7.x에 Jupyter설치	총관리자	2018.04.18	551
81	Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel)	총관리자	2018.04.17	146
80	우분투 16.04LTS에 Jupyter설치	총관리자	2018.04.17	94
79	beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치	총관리자	2018.04.15	205
78	Scala에서 countByWindow를 이용하기(예제)	총관리자	2018.03.08	236
77	Scala를 이용한 Streaming예제	총관리자	2018.03.08	69
76	scala application 샘플소스(SparkSession이용)	총관리자	2018.03.07	135
75	spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항	총관리자	2018.02.01	519
74	Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법	총관리자	2018.02.01	200
73	spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용	총관리자	2018.01.16	1115
72	Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기	총관리자	2017.07.26	263
71	Hive MetaStore Server기동시 Could not create "increment"/"table" value-generation container SEQUENCE_TABLE since autoCreate flags do not allow it. 오류발생시 조치사항	총관리자	2017.05.03	350

쓰기 태그

첫 페이지 1 2 3 4 5 6 7 끝 페이지

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

spark spark-env.sh에서 사용할 수있는 항목.

댓글 0

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다. 필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

spark spark-env.sh에서 사용할 수있는 항목.

댓글 0

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc. We are open to the required minutes. Please send inquiries to gooper@gooper.com.

LOGIN

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.