메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. sudo -u hdfs kinit -kt /var/lib/keytab/hdfs.keytab hdfs


2. block정보 백업

  sudo -u hdfs hdfs fsck / -files -blocks -locations > nn_backup_20200205/dfs-old-fsck-1.log


3. namenode를 safemode로 전환

sudo -u hdfs hdfs dfsadmin -safemode enter


4. namespace저장

  sudo -u hdfs hdfs dfsadmin -saveNamespace


5. namenode저장소의 데이터 백업

  (dfs.namenode.name.dir 설정에 /data1/dfs/nn 형태의 namenode 데이터 저장소를 알수 있음)

  sudo cp -r /data1/dfs/nn /home/hadoop/nn_backup_20200205/data1-dfs-nn


6. safemode 해제

  sudo -u hdfs hdfs dfsadmin -safemode leave


* 복구방법

 위에 백업해둔 데이터인 /home/hadoop/nn_backup_20200205/data1-dfs-nn를 그대로 /data1/dfs/nn에 복사해주고 namenode를 재시작 해주면 됨


* fsimage를 이용한 복구방법

 가. VERSION과 fsimage파일을 원위치로 복사

    cp /home/hadoop/nn_backup-20200205/fsimage-dir/fsimage_00000000000581155082 /data1/dfs/nn/current

 나.해당 위치로 이동

  cd /data1/dfs/nn/current

 다. md5파일 생성

  sudo -u hdfs md5sum fsimage_00000000000581155082 > fsimage_00000000000581155082.md5

 라. namenode프로세스 재기동


번호 제목 글쓴이 날짜 조회 수
640 ubuntu 커널 업그레이드 방법 총관리자 2018.09.02 1416
639 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 총관리자 2015.05.21 1415
638 crypto관련 기생충 박멸 스크립트 총관리자 2018.05.11 1340
637 ExWordCount jar파일 file 구퍼 2013.03.06 1336
636 우분투 root 패스워드 설정하기 구퍼 2013.03.04 1314
635 lagom-linux용 build.sbt파일 내용 총관리자 2017.10.12 1300
634 [ftgo_application]Unable to infer base url오류 발생시 조치방법 gooper 2023.02.20 1293
633 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1292
632 solr vs elasticsearch 비교2 총관리자 2014.09.29 1276
631 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 총관리자 2016.07.08 1270
630 자주쓰는 유용한 프로그램 총관리자 2018.03.16 1267
629 The disk drive for uuid= is not ready yet or not present 오류 해결방법 총관리자 2014.04.21 1265
628 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 총관리자 2014.04.23 1261
627 거침없이 배우는 Drools 책의 샘플소스 file 총관리자 2016.07.22 1232
626 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 총관리자 2016.09.25 1222
625 json 값 다루기 총관리자 2014.04.17 1222
624 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 총관리자 2018.07.03 1220
623 zookeeper 3.4.6 설치(3대) 총관리자 2015.04.28 1209
622 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 총관리자 2018.06.28 1207
621 [kubernetes]우분투 Kubernetes 설치 방법 file 총관리자 2019.07.24 1205

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로