메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Cloudera설치중 실패로 여러번 설치하는 과정에서 기존에 사용을 위해서 만들어둔 폴더들이 있어서 "Running in non-interactive mode, and data appears to exist in Storage Directory /dfs/nn. Not formatting."와 같은 오류가 발생하면서 설치가 되지 않으면 /dfs/nn를 삭제후 설치과정을 Resume하면 자동으로 생성하면서 설치가 정상적으로 진행된다.

18/03/29 11:11:01 INFO util.GSet: Computing capacity for map cachedBlocks
18/03/29 11:11:01 INFO util.GSet: VM type       = 64-bit
18/03/29 11:11:01 INFO util.GSet: 0.25% max memory 678.6 MB = 1.7 MB
18/03/29 11:11:01 INFO util.GSet: capacity      = 2^18 = 262144 entries
18/03/29 11:11:01 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
18/03/29 11:11:01 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 1
18/03/29 11:11:01 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000
18/03/29 11:11:01 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.window.num.buckets = 10
18/03/29 11:11:01 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.num.users = 10
18/03/29 11:11:01 INFO metrics.TopMetrics: NNTop conf: dfs.namenode.top.windows.minutes = 1,5,25
18/03/29 11:11:01 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
18/03/29 11:11:01 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
18/03/29 11:11:01 INFO util.GSet: Computing capacity for map NameNodeRetryCache
18/03/29 11:11:01 INFO util.GSet: VM type       = 64-bit
18/03/29 11:11:01 INFO util.GSet: 0.029999999329447746% max memory 678.6 MB = 208.5 KB
18/03/29 11:11:01 INFO util.GSet: capacity      = 2^15 = 32768 entries
18/03/29 11:11:01 INFO namenode.FSNamesystem: ACLs enabled? false
18/03/29 11:11:01 INFO namenode.FSNamesystem: XAttrs enabled? true
18/03/29 11:11:01 INFO namenode.FSNamesystem: Maximum size of an xattr: 16384
Running in non-interactive mode, and data appears to exist in Storage Directory /dfs/nn. Not formatting.
18/03/29 11:11:01 INFO util.ExitUtil: Exiting with status 1
18/03/29 11:11:01 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at gsda1/XXX.XXX.XXX.XXX
************************************************************/
번호 제목 글쓴이 날짜 조회 수
620 oozie에서 share lib설정시 action type별로 구분하여 넣을것 총관리자 2014.04.18 1195
619 Mybatis foreach 문법정리(상황에 따른 사용법) 총관리자 2015.11.10 1157
618 build.gradle을 pom.xml로 변환하는 방법 총관리자 2016.08.18 1151
617 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 총관리자 2016.06.03 1141
616 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 총관리자 2014.09.25 1141
615 json serde사용법 총관리자 2014.04.17 1140
614 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
613 sequence한 번호 생성방법 총관리자 2014.04.25 1123
612 로그 파일에 대해 Elasticsearch 사용하기 총관리자 2014.09.25 1121
611 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 총관리자 2018.01.16 1115
610 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 총관리자 2017.05.23 1115
609 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 총관리자 2014.05.28 1088
608 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 총관리자 2018.09.14 1084
607 Building a Cluster docs 총관리자 2014.04.22 1083
606 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 총관리자 2017.06.30 1081
605 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 총관리자 2017.05.01 1081
604 external partition table생성및 data확인 총관리자 2014.04.03 1072
603 Hive Query Examples from test code (1 of 2) 총관리자 2014.03.26 1050
602 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 총관리자 2015.04.29 1047
601 impala 설치/설정 총관리자 2016.06.03 1029

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로