메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


spark-shell등이나 spark어플리케이션을 실행할때 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"라는 warnning이 발생되면서 어플리케이션이 수행되지 않고 대기하고 http://sda1:8123하였을때 "Cores in use: 40 Total,40 Used"으로 core를 모두 사용하고 있고, "Running Application"s의 status가 WAITING인 상황이 발생한다.

이때 아래의 설정값을 conf/spark-env.conf에 지정하여 어플리케이션에서 사용할 수 있는 core와 memory를 제한하도록 설정한다.


   export SPARK_WORKER_INSTANCES=4(일반적으로 1로 지정할것)

   export SPARK_WORKER_MEMORY=5000m

   export SPARK_WORKER_CORES=10

   export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=3"


==> 위에 옵션은 start-all.sh할때 각서버에 worker가 4개씩 기동하며 각 worker당 최대사용가능한 core수 10개, 메모리는 5000m씩 사용하게 된다. 특히 SPARK_MASTER_OPTS을 지정하면 어플리케이션에서 사용가능한(예시에서는 3개) core의 수를 제한하게 되어 다른 어플리케이션이 resource를 사용할 수 있는 여유가 생기게 된다. 하지만 stop-all.sh로 중지시키면 서버당 4개씩 기동된 Worker를 모두 중지시켜 주지못하는 문제점이 있다.


-----------------------------WARN내용----------------------------------

16/05/24 18:29:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

번호 제목 글쓴이 날짜 조회 수
217 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 총관리자 2016.05.31 67
216 centos에 sbt 0.13.5 설치 총관리자 2016.05.30 251
215 Job이 끝난 log을 볼수 있도록 설정하기 총관리자 2016.05.30 403
214 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 총관리자 2016.05.27 538
213 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 총관리자 2016.05.27 141
212 DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 총관리자 2016.05.27 53
211 python 2.6.6에서 print 'A=' 형태의 사용이 python 3.5.1에서 오류(SyntaxError: Missing parentheses in call to 'print') 발생함.. 총관리자 2016.05.27 62
210 python실행시 ValueError: zero length field name in format오류 해결방법 총관리자 2016.05.27 43
209 S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함) [2] file 총관리자 2016.05.27 76
208 CentOS6에 python3.5.1 소스코드로 빌드하여 설치하기 총관리자 2016.05.27 71
207 RDF storage조합에대한 test결과(4store, Jena+HBase, Hive+HBase, CumulusRDF, Couchbase) 페이지 링크 총관리자 2016.05.26 102
206 spark-submit으로 spark application실행하는 다양한 방법 총관리자 2016.05.25 303
205 spark 온라인 책자링크 (제목 : mastering-apache-spark) 총관리자 2016.05.25 48
» "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1025
203 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 561
202 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 454
201 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 551
200 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 60
199 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 2325
198 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 412

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로