메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Cloudera설치중 실패로 여러번 설치하는 과정에서 기존에 사용을 위해서 만들어둔 폴더들이 있어서 "Running in non-interactive mode, and data appears to exist in Storage Directory /dfs/nn. Not formatting."와 같은 오류가 발생하면서 설치가 되지 않으면 /dfs/nn를 삭제후 설치과정을 Resume하면 자동으로 생성하면서 설치가 정상적으로 진행된다.

18/03/29 11:11:01 INFO util.GSet: Computing capacity for map cachedBlocks
18/03/29 11:11:01 INFO util.GSet: VM type       = 64-bit
18/03/29 11:11:01 INFO util.GSet: 0.25% max memory 678.6 MB = 1.7 MB
18/03/29 11:11:01 INFO util.GSet: capacity      = 2^18 = 262144 entries
18/03/29 11:11:01 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
18/03/29 11:11:01 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 1
18/03/29 11:11:01 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000
18/03/29 11:11:01 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
18/03/29 11:11:01 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
18/03/29 11:11:01 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
18/03/29 11:11:01 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
18/03/29 11:11:01 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
18/03/29 11:11:01 INFO util.GSet: Computing capacity for map NameNodeRetryCache
18/03/29 11:11:01 INFO util.GSet: VM type       = 64-bit
18/03/29 11:11:01 INFO util.GSet: 0.029999999329447746% max memory 678.6 MB = 208.5 KB
18/03/29 11:11:01 INFO util.GSet: capacity      = 2^15 = 32768 entries
18/03/29 11:11:01 INFO namenode.FSNamesystem: ACLs enabled? false
18/03/29 11:11:01 INFO namenode.FSNamesystem: XAttrs enabled? true
18/03/29 11:11:01 INFO namenode.FSNamesystem: Maximum size of an xattr: 16384
Running in non-interactive mode, and data appears to exist in Storage Directory /dfs/nn. Not formatting.
18/03/29 11:11:01 INFO util.ExitUtil: Exiting with status 1
18/03/29 11:11:01 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at gsda1/XXX.XXX.XXX.XXX
************************************************************/
번호 제목 글쓴이 날짜 조회 수
561 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 377
560 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 493
559 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 총관리자 2016.04.04 448
558 elasticsearch 1.3.0에서 rdf및 hadoop plugin설치 총관리자 2016.04.06 108
557 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 141
556 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법 총관리자 2016.04.08 54
555 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법(SolrCloud) 총관리자 2016.04.08 657
554 딥러닝 수학/알고리즘 '한국어' 강의 총관리자 2016.04.10 110
553 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 총관리자 2016.04.11 397
552 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 70
551 cumulusRDF 1.0.1설치및 "KeyspaceCumulus" keyspace확인하기 file 총관리자 2016.04.15 244
550 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 205
549 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
548 solrcloud에 solrdf1.1설치하고 테스트 하기 총관리자 2016.04.22 113
547 solrdf초기 기동시 "Caused by: java.lang.IllegalAccessError: tried to access field org.apache.solr.handler.RequestHandlerBase.log from class org.gazzax.labs.solrdf.handler.update.RdfUpdateRequestHandler" 오류가 발생시 조치사항 총관리자 2016.04.22 157
546 collection생성시 -shards와 -replicationFactor값을 잘못지정하면 write.lock for client xxx.xxx.xxx.xxx already exists오류가 발생한다. 총관리자 2016.04.28 88
545 solr 인스턴스 기동후 shard에 서버가 정상적으로 할당되지 않는 경우 해결책 총관리자 2016.04.29 654
544 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 412
543 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 2337
542 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 60

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로