메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop Incompatible clusterIDs오류 원인및 해결방법

총관리자 2016.04.01 10:29 조회 수 : 491

datanode기동시 Incompatible clusterIDs오류가 발생하는 이유는 "hadoop namenode -format"이 다시 한번 이루어지면서 
namenode는 새로운 ID를 받고 datanode는 새로운 ID를 발급받지 못하여 불일치가 발생한다.
그래서 format전에 /hadoop/dfs/datanode/VERSION파일을 지우고 format하면 해결된다.

---------------------------datanode 로그파일 내용------------------
2016-04-01 10:18:29,872 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /hadoop/dfs/datanode/in_use.lock acquired by nodename 2642@so-db2
2016-04-01 10:18:29,876 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /hadoop/dfs/datanode: namenode clusterID = CID-114223dd-58a8-4145-8359-990ebc169f13; datanode clusterID = CID-0a8e7038-7c96-45ab-bf73-1ad00fcbd192
2016-04-01 10:18:29,878 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to sda2/xxx.xxx.xxx.44:9000. Exiting. 
java.io.IOException: All specified directories are failed to load.
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:478)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1358)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1323)
        at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)
        at java.lang.Thread.run(Thread.java:745)
2016-04-01 10:18:29,878 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to sda1/xxx.xxx.xxx.43:9000. Exiting. 
java.io.IOException: Cluster IDs not matched: dn cid=CID-114223dd-58a8-4145-8359-990ebc169f13 but ns cid=CID-0a8e7038-7c96-45ab-bf73-1ad00fcbd192; bpid=BP-503361220-xxx.xxx.xxx.43-1459412244660
        at org.apache.hadoop.hdfs.server.datanode.DataNode.setClusterId(DataNode.java:717)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1316)
        at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:223)
        at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:802)
        at java.lang.Thread.run(Thread.java:745)
2016-04-01 10:18:29,881 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to sda2/xxx.xxx.xxx.44:9000
2016-04-01 10:18:29,881 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to sda1/xxx.xxx.xxx.43:9000
2016-04-01 10:18:29,983 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
2016-04-01 10:18:31,983 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2016-04-01 10:18:31,986 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2016-04-01 10:18:31,988 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at so-db2/xxx.xxx.xxx.38
************************************************************/
이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
201 fuseki용 config-examples.ttl 예시 내용 총관리자 2017.05.17 646
200 springframework를 이용한 war를 생성하는 build.gradle파일(참고용) 총관리자 2016.08.19 650
199 AIX 7.1에 Python 2.7.11설치하기 총관리자 2016.10.06 651
198 solr 인스턴스 기동후 shard에 서버가 정상적으로 할당되지 않는 경우 해결책 총관리자 2016.04.29 654
197 "File /user/hadoop/share/lib does not exist" 오류 해결방법 총관리자 2015.06.07 655
196 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법(SolrCloud) 총관리자 2016.04.08 656
195 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 총관리자 2017.12.28 662
194 znode /hbase recursive하게 지우기 총관리자 2015.05.06 673
193 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 총관리자 2018.08.03 673
192 [springframework]Caused by: org.mariadb.jdbc.internal.util.dao.QueryException: Could not read resultset: unexpected end of stream, read 0 bytes from 4 오류 발생시 조치사항 총관리자 2017.01.23 681
191 source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 총관리자 2014.05.20 687
190 lateral view 예제 총관리자 2014.09.18 691
189 sendmail전송시 421 4.3.0 collect: Cannot write ./dfv5BA2EBS010579 (bfcommit, uid=0, gid=114): No such file or directory 발생시 조치사항 총관리자 2017.06.11 694
188 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 총관리자 2014.09.10 697
187 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 gooper 2022.11.30 697
186 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 총관리자 2014.05.14 699
185 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 총관리자 2015.04.02 701
184 update를 많이 하면 heap memory가 많이 소진되고 최종적으로 OOM가 발생하는데 이에 대한 설명 총관리자 2017.04.10 717
183 secureCRT에서 backspace키가 작동하지 않는 경우 해결방법 총관리자 2015.05.11 719
182 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 총관리자 2015.06.14 719
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로