메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark-shell등이나 spark어플리케이션을 실행할때 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"라는 warnning이 발생되면서 어플리케이션이 수행되지 않고 대기하고 http://sda1:8123하였을때 "Cores in use: 40 Total,40 Used"으로 core를 모두 사용하고 있고, "Running Application"s의 status가 WAITING인 상황이 발생한다.

이때 아래의 설정값을 conf/spark-env.conf에 지정하여 어플리케이션에서 사용할 수 있는 core와 memory를 제한하도록 설정한다.


   export SPARK_WORKER_INSTANCES=4(일반적으로 1로 지정할것)

   export SPARK_WORKER_MEMORY=5000m

   export SPARK_WORKER_CORES=10

   export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=3"


==> 위에 옵션은 start-all.sh할때 각서버에 worker가 4개씩 기동하며 각 worker당 최대사용가능한 core수 10개, 메모리는 5000m씩 사용하게 된다. 특히 SPARK_MASTER_OPTS을 지정하면 어플리케이션에서 사용가능한(예시에서는 3개) core의 수를 제한하게 되어 다른 어플리케이션이 resource를 사용할 수 있는 여유가 생기게 된다. 하지만 stop-all.sh로 중지시키면 서버당 4개씩 기동된 Worker를 모두 중지시켜 주지못하는 문제점이 있다.


-----------------------------WARN내용----------------------------------

16/05/24 18:29:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

번호 제목 날짜 조회 수
610 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 2017.05.03 3088
609 [jsoup]Jsoup Tutorial 2017.04.11 3103
608 spark 2.0.0의 api를 이용하는 예제 프로그램 2017.03.15 3108
607 Hive MetaStore Server기동시 Could not create "increment"/"table" value-generation container SEQUENCE_TABLE since autoCreate flags do not allow it. 오류발생시 조치사항 2017.05.03 3112
606 Flume을 이용한 데이타 수집시 HBase write 성능 튜닝 file 2016.10.31 3113
605 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 2017.08.30 3116
604 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 3135
603 java quartz 시간 설정 참고사항 2015.12.16 3147
602 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 3148
601 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 2022.04.01 3153
600 HDFS Balancer설정및 수행 2018.03.21 3165
599 HBase 설정 최적화하기(VCNC) file 2017.07.18 3167
598 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 2016.09.24 3172
597 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 2016.02.05 3179
596 tar를 이용한 리눅스 백업 2018.05.13 3194
595 gradle을 이용하여 jar파일 생성시 provided속성을 지정할 수 있게 설정하는 방법 2016.08.09 3198
594 centos에 sbt 0.13.5 설치 2016.05.30 3201
593 Hue Job Browser의 Queries탭에서 조건을 지정하는 방법 2018.05.10 3205
592 [Mybatis]Spring과 연동하지 않고 Java+Mybatis 형태의 프로그램 샘플소스 2016.09.01 3209
591 외부 기기(usb, 하드)등 mount(연결)하기 2014.08.03 3210
위로