Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
0. A Cluster에 hadoop 으로 로그인
1. mkdir /home/hadoop/BACKUP
2. cd /home/hadoop/BACKUP
3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs
4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드
sudo hdfs dfs -copyToLocal -p /SOURCE .
5. 압축하기
sudo tar cvfz SOURCE_20200506.tar.gz SOURCE
6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드
7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기
8. 압축풀기
sudo tar xvfz SOURCE_20200506.tar.gz
9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)
- kinit -kt /var/lib/keytab/hdfs.keytab hdfs
- hdfs dfs -copyFromLocal -p SOURCE /
(HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)
* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
7 | hadoop및 ecosystem에서 사용되는 명령문 정리 | 총관리자 | 2014.05.28 | 3455 |
6 | hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 | 총관리자 | 2015.05.05 | 3770 |
5 | Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) | 구퍼 | 2013.03.07 | 3995 |
4 | [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 | 총관리자 | 2018.01.03 | 5369 |
3 | org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. | 구퍼 | 2013.03.11 | 14781 |
2 | mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 | 총관리자 | 2017.05.04 | 16899 |
1 | bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 | 총관리자 | 2015.04.24 | 19145 |