메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hadoop cluster기동시 아래와 같은 오류가 발생하면서 datanode가 죽거나 namenode에 접근을 못하는 경우가 발생하는데 대부분 방화벽에서 
9000번 포트를 열지 않아서 발생하는 문제임..



16/03/31 17:50:30 WARN retry.RetryInvocationHandler: Exception while invoking class org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getStats over sda2/xxx.xxx.xxx.xxx:9000. Not retrying because failovers (15) exceeded maximum allowed (15)
java.net.NoRouteToHostException: No Route to Host from  sda1/xxx.xxx.xxx.xxx to sda2:9000 failed on socket timeout exception: java.net.NoRouteToHostException: 호스트로 갈 루트가 없음; For more details see:  http://wiki.apache.org/hadoop/NoRouteToHost
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:758)
        at org.apache.hadoop.ipc.Client.call(Client.java:1479)
        at org.apache.hadoop.ipc.Client.call(Client.java:1412)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
        at com.sun.proxy.$Proxy9.getFsStats(Unknown Source)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getStats(ClientNamenodeProtocolTranslatorPB.java:612)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
        at com.sun.proxy.$Proxy10.getStats(Unknown Source)
        at org.apache.hadoop.hdfs.DFSClient.callGetStats(DFSClient.java:2484)
        at org.apache.hadoop.hdfs.DFSClient.getDiskStatus(DFSClient.java:2494)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getStatus(DistributedFileSystem.java:1114)
        at org.apache.hadoop.fs.FileSystem.getStatus(FileSystem.java:2314)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.report(DFSAdmin.java:454)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.run(DFSAdmin.java:1783)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.hdfs.tools.DFSAdmin.main(DFSAdmin.java:1959)
Caused by: java.net.NoRouteToHostException: 호스트로 갈 루트가 없음
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
        at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:614)
        at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:712)
        at org.apache.hadoop.ipc.Client$Connection.access$2900(Client.java:375)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:1528)
        at org.apache.hadoop.ipc.Client.call(Client.java:1451)
        ... 20 more
번호 제목 글쓴이 날짜 조회 수
199 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 1579
198 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 342
197 solr 인스턴스 기동후 shard에 서버가 정상적으로 할당되지 않는 경우 해결책 총관리자 2016.04.29 583
196 collection생성시 -shards와 -replicationFactor값을 잘못지정하면 write.lock for client xxx.xxx.xxx.xxx already exists오류가 발생한다. 총관리자 2016.04.28 67
195 solrdf초기 기동시 "Caused by: java.lang.IllegalAccessError: tried to access field org.apache.solr.handler.RequestHandlerBase.log from class org.gazzax.labs.solrdf.handler.update.RdfUpdateRequestHandler" 오류가 발생시 조치사항 총관리자 2016.04.22 140
194 solrcloud에 solrdf1.1설치하고 테스트 하기 총관리자 2016.04.22 89
193 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1711
192 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 165
191 cumulusRDF 1.0.1설치및 "KeyspaceCumulus" keyspace확인하기 file 총관리자 2016.04.15 36
190 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 38
189 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 총관리자 2016.04.11 278
188 딥러닝 수학/알고리즘 '한국어' 강의 총관리자 2016.04.10 105
187 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법(SolrCloud) 총관리자 2016.04.08 368
186 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법 총관리자 2016.04.08 26
185 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 125
184 elasticsearch 1.3.0에서 rdf및 hadoop plugin설치 총관리자 2016.04.06 81
183 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 총관리자 2016.04.04 417
182 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 193
181 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 180
» "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 총관리자 2016.04.01 2234

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로