메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우

총관리자 2018.06.01 11:33 조회 수 : 10185

Cloudera Manager -> Spark의 선택메뉴에서 Create History Directory 메뉴를 실행시켜주면 관련 폴더를 생성하고 다시 기동시켜주면 정상적으로 기동된다.

------------------------------오류내용---------------------------------
Caused by: java.lang.IllegalArgumentException: Log directory specified does not exist: hdfs://nameservice/user/spark/applicationHistory.
at org.apache.spark.deploy.history.FsHistoryProvider.org$apache$spark$deploy$history$FsHistoryProvider$$startPolling(FsHistoryProvider.scala:199)
at org.apache.spark.deploy.history.FsHistoryProvider.initialize(FsHistoryProvider.scala:151)
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:147)
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:74)
... 6 more
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
273 spark-shell을 실행하면 "Attempted to request executors before the AM has registered!"라는 오류가 발생하면 2018.06.08 9242
272 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 2018.06.08 13193
271 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 2018.06.06 11778
270 JAVA_HOME을 명시적으로 지정하는 방법 2018.06.04 9157
» spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 2018.06.01 10185
268 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 2018.05.30 11436
267 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 2018.05.30 14384
266 HUE를 사용할 사용자를 추가 하는 절차 2018.05.29 10561
265 JobHistory 서버 기동시 HDFS상에 특정 폴더를 생성할 수 없어서 기동하지 못하는 경우 조치 2018.05.29 12945
264 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 2018.05.28 11680
263 Cloudera Manager설치및 Uninstall 방법(순서) 2018.05.28 12002
262 Cloudera Manager재설치하는 동안 "Host is in bad health"오류가 발생하는 경우 확인/조치 사항 2018.05.24 14785
261 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 2018.05.23 10688
260 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 2018.05.23 9768
259 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 2018.05.22 13712
258 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 2018.05.22 12168
257 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 2018.05.22 13617
256 Cloudera Hadoop and Spark Developer Certification 준비(참고) 2018.05.16 21241
255 Hue Job Browser의 Queries탭에서 조건을 지정하는 방법 2018.05.10 9380
254 Impala의 Queries탭에서 여러조건으로 쿼리 찾기 2018.05.09 11132
쓰기 태그
위로