메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Spark+S2RDF --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법

총관리자 2016.05.27 17:47 조회 수 : 3718

아래와 같은 오류가 발생하면 yarn-site.xml의 yarn.scheduler.maximum-allocation-mb 와 yarn.nodemanager.resource.memory-mb값을 Required executor memory (14336+1433 MB)이상으로 잡아줘야 정상적으로 수행된다.


-------------------------------오류내용----------------------------------------------------------
Caused by: java.lang.IllegalArgumentException: Required executor memory (14336+1433 MB) is above the max threshold (12288 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
        at org.apache.spark.deploy.yarn.Client.verifyClusterResources(Client.scala:283)
        at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:139)
        at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:144)
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
232 DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 2016.06.17 2728
231 5건의 triple data를 이용하여 특정 작업 폴더에서 작업하는 방법/절차 2016.06.16 2167
230 queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 2016.06.16 4119
229 S2RDF를 실행부분만 추출하여 1건의 triple data를 HDFS에 등록, sparql을 sql로 변환, sql실행하는 방법및 S2RDF소스 컴파일 방법 2016.06.15 3010
228 S2RDF모듈의 실행부분만 추출하여 별도록 실행하는 방법(draft) 2016.06.14 2447
227 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 3497
226 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 7658
225 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 8357
224 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 3398
223 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 4912
222 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 3524
221 impala 설치/설정 2016.06.03 4606
220 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9498
219 Windows에서 sbt개발환경 구축 방법(링크) 2016.06.02 2183
218 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 2016.06.02 2892
217 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 4182
216 centos에 sbt 0.13.5 설치 2016.05.30 3289
215 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 4555
214 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 5265
» --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 3718
쓰기 태그
위로