Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
0. A Cluster에 hadoop 으로 로그인
1. mkdir /home/hadoop/BACKUP
2. cd /home/hadoop/BACKUP
3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs
4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드
sudo hdfs dfs -copyToLocal -p /SOURCE .
5. 압축하기
sudo tar cvfz SOURCE_20200506.tar.gz SOURCE
6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드
7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기
8. 압축풀기
sudo tar xvfz SOURCE_20200506.tar.gz
9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)
- kinit -kt /var/lib/keytab/hdfs.keytab hdfs
- hdfs dfs -copyFromLocal -p SOURCE /
(HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)
* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨
댓글 0
번호 | 제목 | 날짜 | 조회 수 |
---|---|---|---|
7 | Incompatible clusterIDs오류 원인및 해결방법 | 2016.04.01 | 2949 |
6 | namenode오류 복구시 사용하는 명령 | 2016.04.01 | 2851 |
5 | java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 | 2015.05.06 | 2781 |
4 | HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 | 2017.01.25 | 2763 |
3 | HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) | 2018.03.16 | 2707 |
2 | AIX 7.1에 Hadoop설치(정리중#2) | 2016.09.20 | 2634 |
1 | Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 | 2017.09.28 | 2346 |