메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. A Cluster에 hadoop 으로 로그인

1. mkdir /home/hadoop/BACKUP

2. cd /home/hadoop/BACKUP

3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs

4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드

  sudo hdfs dfs -copyToLocal -p /SOURCE .

5. 압축하기

  sudo tar cvfz SOURCE_20200506.tar.gz SOURCE

6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드


7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기 

8. 압축풀기 

  sudo tar xvfz SOURCE_20200506.tar.gz

9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)

  - kinit -kt /var/lib/keytab/hdfs.keytab hdfs

  - hdfs dfs -copyFromLocal -p SOURCE /

    (HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)

* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨

번호 제목 글쓴이 날짜 조회 수
67 메이븐 (maven) 설치 및 이클립스 연동하기 file 구퍼 2013.03.06 2280
66 Hadoop 설치 및 시작하기 file 구퍼 2013.03.06 1951
65 Hadoop wordcount 소스 작성 file 구퍼 2013.03.06 1888
64 이클립스에서 생성한 jar 파일 hadoop 으로 실행하기 file 구퍼 2013.03.06 2836
63 ExWordCount jar파일 file 구퍼 2013.03.06 1336
62 Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) file 구퍼 2013.03.07 3995
61 hadoop 설치(3대) file 구퍼 2013.03.07 2613
60 hadoop설치시 참고사항 구퍼 2013.03.08 2131
59 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 구퍼 2013.03.11 14781
58 Cacti로 Hadoop 모니터링 하기 file 구퍼 2013.03.12 2367
57 hadoop설치시 오류 총관리자 2013.12.18 2313
56 hadoop및 ecosystem에서 사용되는 명령문 정리 총관리자 2014.05.28 3455
55 banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 file 총관리자 2014.07.05 2760
54 org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="":root:supergroup:rwxr-xr-x 오류 처리방법 총관리자 2014.07.05 2834
53 access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 총관리자 2014.07.05 1719
52 hadoop의 data디렉토리를 변경하는 방법 총관리자 2014.08.24 536
51 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2015.04.24 19143
50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 총관리자 2015.04.27 322
49 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
48 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 총관리자 2015.05.05 3770

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로