메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark spark-env.sh에서 사용할 수있는 항목.

총관리자 2016.05.24 16:53 조회 수 : 18919

Environment Variable

spark-env.sh에서 사용할 수있는 항목.


SPARK_WORKER_MEMORY은 중요하기 때문에 여기에서 보충.SPARK_WORKER_MEMORY의 범위 내에서 spark.executor.memory을 별도 정의하게되는데, executor가 차지하는 비중 다른 관리를 위해 수백 MB 정도 남겨두면 좋을 듯. 하지만 거기의 균형은 물론 환경에 의한 다.

SPARK_MASTER_OPTS

SPARK_MASTER_OPTS가 지원하는 속성.


SPARK_WORKER_OPTS

SPARK_WORKER_OPTS가 지원하는 속성.


High Availability

ZooKeeper를 물지시켜 HA 구성 할 수 있습니다. 본문에 따르면, 퍼스트 리더가 다운에서 걸리는 총 복구 프로세스는 약 1-2 분 정도 걸리는 것. 이 지연은 새로운 애플리케이션의 스케줄링에만 영향을 이미 실행중인 응용 프로그램은 마스터 장애 조치 영향을주지 않는다. 

호스트 이름을 쉼표로 구분 OK.

1
export STANDALONE_SPARK_MASTER_HOST = master1, master2


Spark properties for YARN

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
47 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 24213
46 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 25392
45 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 24878
44 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 24359
43 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 16149
42 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 26525
41 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 25552
40 impala 설치/설정 2016.06.03 24503
39 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 24917
38 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 17009
37 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 25982
36 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 32554
35 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 23647
34 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 17481
» spark-env.sh에서 사용할 수있는 항목. 2016.05.24 18919
32 Spark 1.6.1 설치후 HA구성 2016.05.24 25058
31 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 13976
30 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 21570
29 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 16382
28 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 15878
쓰기 태그
위로