메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. A Cluster에 hadoop 으로 로그인

1. mkdir /home/hadoop/BACKUP

2. cd /home/hadoop/BACKUP

3. sudo kinit -kt /var/lib/keytab/hdfs.keytab hdfs

4. HDFS SOURCE밑의 모든 파일 권한/사용자등을 유지하고 로컬에 다운로드

  sudo hdfs dfs -copyToLocal -p /SOURCE .

5. 압축하기

  sudo tar cvfz SOURCE_20200506.tar.gz SOURCE

6. SOURCE_20200506.tar.gz 파일을 로컬 컴퓨터에 다운로드


7. B Cluster에 hadoop으로 로그인하여 SOURCE_20200506.tar.gz upload하기 

8. 압축풀기 

  sudo tar xvfz SOURCE_20200506.tar.gz

9. B Cluster에 upload (HDFS의 /SOURCE로 올라감)

  - kinit -kt /var/lib/keytab/hdfs.keytab hdfs

  - hdfs dfs -copyFromLocal -p SOURCE /

    (HDFS상에 동일한 파일이 있으때 덮어 쓸러면.. -f 옵션을 준다.)

* B Cluster에는 소유자로 지정된 모든 사용자가 존재하고 있어야 사용자가 적절하게 매핑되어 생성되며 그렇지 않으면 숫자가 매핑됨

번호 제목 글쓴이 날짜 조회 수
581 Impala의 Queries탭에서 여러조건으로 쿼리 찾기 총관리자 2018.05.09 864
580 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 총관리자 2015.04.30 862
579 ubuntu에 maven 3.6.1설치 및 환경변수 설정 총관리자 2019.06.02 856
578 [SBT] SBT 사용법 정리(링크) 총관리자 2016.08.04 843
577 Hive JDBC Connection과 유형별 에러및 필요한 jar파일 총관리자 2021.05.24 836
576 dual table만들기 총관리자 2014.05.16 827
575 [Mybatis]Spring과 연동하지 않고 Java+Mybatis 형태의 프로그램 샘플소스 총관리자 2016.09.01 818
574 [shellscript]엑셀파일에서 여러줄에 존재하는 단어를 한줄의 문자열로 합치는 방법(comma로 구분) 총관리자 2019.07.15 814
573 hive query에서 mapreduce돌리지 않고 select하는 방법 총관리자 2014.05.23 812
572 update 샘플 총관리자 2018.03.12 810
571 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 총관리자 2014.06.02 807
570 sentry설정 방법및 활성화시 설정이 필요한 파일및 설정값, 계정생성 방법 총관리자 2018.08.16 780
569 mongodb aggregation query를 Java code로 변환한 샘플 총관리자 2016.12.15 777
568 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 총관리자 2017.07.04 767
567 oracle to hive data type정리표 총관리자 2018.08.22 765
566 [Kerberos]Kerberos상태의 클러스터에 JDBC로 접근할때 케이스별 오류내용 총관리자 2020.02.14 764
565 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 총관리자 2016.06.03 761
564 [DBeaver 4.3.0]import/export시 "Client home is not specified for connection" 오류발생시 조치사항 총관리자 2017.12.21 753
563 Cloudera Manager web UI의 언어를 한글에서 영문으로 변경하기 총관리자 2018.04.03 743
562 hive metastore ERD file 총관리자 2018.09.20 731

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로