메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark-shell등이나 spark어플리케이션을 실행할때 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"라는 warnning이 발생되면서 어플리케이션이 수행되지 않고 대기하고 http://sda1:8123하였을때 "Cores in use: 40 Total,40 Used"으로 core를 모두 사용하고 있고, "Running Application"s의 status가 WAITING인 상황이 발생한다.

이때 아래의 설정값을 conf/spark-env.conf에 지정하여 어플리케이션에서 사용할 수 있는 core와 memory를 제한하도록 설정한다.


   export SPARK_WORKER_INSTANCES=4(일반적으로 1로 지정할것)

   export SPARK_WORKER_MEMORY=5000m

   export SPARK_WORKER_CORES=10

   export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=3"


==> 위에 옵션은 start-all.sh할때 각서버에 worker가 4개씩 기동하며 각 worker당 최대사용가능한 core수 10개, 메모리는 5000m씩 사용하게 된다. 특히 SPARK_MASTER_OPTS을 지정하면 어플리케이션에서 사용가능한(예시에서는 3개) core의 수를 제한하게 되어 다른 어플리케이션이 resource를 사용할 수 있는 여유가 생기게 된다. 하지만 stop-all.sh로 중지시키면 서버당 4개씩 기동된 Worker를 모두 중지시켜 주지못하는 문제점이 있다.


-----------------------------WARN내용----------------------------------

16/05/24 18:29:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:29:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:30:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:12 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:27 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

16/05/24 18:31:42 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

번호 제목 날짜 조회 수
270 linux에서 특정 포트를 사용하는 프로세스 확인하기 2017.04.26 3650
269 우분투 서버에 GUI로 접속하기 file 2018.05.27 3649
268 halyard 1.3의 console을 이용하여 100억건의 데이타에 대한 쿼리수행시 ScannerTimeoutException 발생시 조치사항 2017.09.06 3648
267 쿠버네티스(k8s) 설치 및 클러스터 구성하기 2019.10.19 3641
266 [번역] solr 검색 엔진 튜토리얼 2014.10.07 3635
265 anaconda3 (v5.2) 설치및 머신러닝 관련 라이브러리 설치 절차 2018.07.27 3634
264 jena/fuseki 3.4.0 설치 2017.07.25 3631
263 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 3631
262 federated query 예제 2017.01.19 3629
261 crypto관련 기생충 박멸 스크립트 2018.05.11 3627
260 producer / consumer구현시 설정 옵션 설명 2016.10.19 3621
259 python3.5에서 numpy버젼에 따른 문제점을 조치하는 방법및 pymysql import할때 오류 발생시 조치사항 2017.09.28 3616
258 프로그래밍 언어별 딥러닝 라이브러리 정리 file 2016.10.05 3616
257 update를 많이 하면 heap memory가 많이 소진되고 최종적으로 OOM가 발생하는데 이에 대한 설명 2017.04.10 3611
256 jena jar파일실행시 org.apache.jena.tdb.TDB.init에서 java.lang.NullPointerException발생시 조치사항 2016.08.19 3611
255 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 2018.05.22 3608
254 git 초기화(Windows에서 Git Bash사용) 2016.11.17 3607
253 DBCP Datasource(org.apache.commons.dbcp.BasicDataSource) 설정 및 속성 설명 2016.09.26 3605
252 이미지 관리 오픈소스 목록 2018.03.11 3602
251 Halyard - RDF4J와 Apache HBase를 이용하여 구현된 TripleStore이며 SPARQL 1.1쿼리를 지원한다. 2016.12.29 3595
위로