메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. A Cluster에 hadoop 으로 로그인

1. mkdir /home/hadoop/BACKUP

2. cd /home/hadoop/BACKUP

3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs

4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드

  sudo hdfs dfs -copyToLocal -p /SOURCE .

5. 압축하기

  sudo tar cvfz SOURCE_20200506.tar.gz SOURCE

6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드


7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기 

8. 압축풀기 

  sudo tar xvfz SOURCE_20200506.tar.gz

9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)

  - kinit -kt /var/lib/keytab/hdfs.keytab hdfs

  - hdfs dfs -copyFromLocal -p SOURCE /

    (HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)

* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로