메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Kudu tablet server 혹은 kudu master가 어떤 원인에 의해서 replica가 failed상태인 경우는 다음과 같이 wal디렉토리 및 data디렉토리의  데이터를 지워서 내부적으로 다시 생성되도록 하여 복구 해야 한다. 

(단,  Kudu의 replication factor가 3이상 이어야 하며 1인 경우 데이터가 영구 손실 될 수 있으니 주의해야 한다.)


0. wal및 data영역 데이터 백업(필요시)

1. tablet service or kudu master stop 

2. wal disk directory의 모든 데이터및 폴더 삭제 : sudo rm -rf /data21/kudu/wal

3. kudu data disk directory의 모든 데이터 삭제(space로 구분) : sudo rm -r /data01/kudu/data01/*...../data19/kudu/data19/*

4. tablet service or kudu master start 

5. 전체 클러스터 대상 kudu rebalance수행


번호 제목 글쓴이 날짜 조회 수
340 DB별 JDBC 드라이버 총관리자 2015.10.02 256
339 console명령과 API비교 총관리자 2015.12.21 120
338 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 총관리자 2015.12.22 145
337 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 158
336 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
335 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
334 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 총관리자 2016.04.01 3022
333 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 377
332 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 491
331 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 총관리자 2016.04.11 397
330 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 70
329 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 205
328 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
327 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 412
326 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 2333
325 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 60
324 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 551
323 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
322 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 568
321 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로