메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. 모니터링(MR, YARN, HBASE)

  가. http://master:8088/cluster

  나. http://master:50070/dfshealth.html#tab-datanode

  다. http://master:60010/master-status

1. hadoop 1.X

  가. hadoop 관련 데몬 모두 start

     start-all.sh

  나. hadoop 관련 데몬 모두 stop

     stop-all.sh

  다. 안전모드 벗어나기

     hadoop dfsadmin -safemode leave

  라.map/reduce admin모니터링

    http://localhost:50030/jobtracker.jsp

  마. namenode 모니터링

    http://localhost:50070/dfshealth.jsp

  바. 기타

    start-dfs.sh - Hadoop DFS daemon들(namenode and datanodes)을 기동함.(start-mapred.sh을 실행가지 전에 실행할 것)
    stop-dfs.sh - Hadoop DFS daemon 들을 중지함.
    start-mapred.sh - Hadoop Map/Reduce daemonem들(jobtracker 와 tasktracker들)을 기동함.
    stop-mapred.sh - Hadoop Map/Reduce daemon들을 중지함.
    start-all.sh - 모든 Hadoop daemon들(namenode, datanode들, jobtracker, tasktracker들) 기동함
                         (앞으로는 start-dfs.sh 과 start-mapred.sh을 연속 실행할것)
    stop-all.sh - 모든 Hadoop daemon들을 중지시킴

                         (앞으로는 stop-mapred.sh 과 stop-dfs.sh을 연속 실행할것)

  사. namenode만 stop/start

    hadoop-daemon.sh stop/start namenode

1-1. hadoop 2.X

  가. nodemanager

      yarn-daemon.sh start nodemanager

  나. datanode

       hadoop-daemon.sh start datanode

  다. resourcemanager

       yarn-daemon.sh start resourcemanager

  라. namenode

       hadoop-daemon.sh start namenode

  마. zkfc

    hadoop-daemon.sh start zkfc

2. oozie

  가. oozie start

    oozie-start.sh

   나. oozie stop

    oozie-stop.sh

   다.  모니터링

    http://localhost:11000/oozie

  라. xml유효성 체크

    oozie validate workflow.xml

3. hive

  가. 시작/종료

       nohup hive --service metastore>$HIVE_LOG_DIR/hive.out 2>$HIVE_LOG_DIR/hive.log & 를 먼저 실행함

  나. hive  shell 실행(hbase연동 작업할 경우)

    hive --auxpath /home/hadoop/hive/lib/hbase-0.94.6.1.jar,/home/hadoop/hive/lib/zookeeper-3.4.3.jar,/home/hadoop/hive/lib/hive-hbase-handler-0.11.0.jar,/home/hadoop/hive/lib/guava-11.0.2.jar,/home/hadoop/hive/lib/hive-contrib-0.11.0.jar -hiveconf hbase.master=localhost:60000

 다. metastore 서버기동

    hive --service metastore &
 라. hiveserver2 서버기동

     hive --service hiveserver2

4. ubuntu

  가......

5. mysql

  가.  sql파일을 이용하여 일괄 실행

      mysql -uUserId -pPassword DataBaseName  --default-character-set=utf-8 < ExportFileName.sql

  나. mysql dump명령

     mysqldump -u gooper -p gooper > gooper_db_20140321.sql

  다. mysql shell들어가기

    mysql -u root -p

6. hbase

  가. start

    start-hbase.sh

  나. stop

    stop-hbase.sh

  다. hmaster 기동/중지/restart

    hbase-daemon.sh start/stop master

  라. regionmaster 기동/중지/restart

    hbase-daemon.sh start/stop/restart regionserver

  마. 모니터링

    -RegionServer

    http://localhost:60030/

   - HMaster

    http://localhost:60010/


  바. thrift server기동

    hadoop@bigdata-host:~/hadoop/working$ hbase thrift start

7. zookeeper

  가. 시작

    zkServer.sh start

  나. 중지

    zkServer.sh stop

  다. zk shell

    zkCli.sh -server localhost:2181

 

-----------------hadoop 2.X---------------------------
Daemon포트

  • NameNode : 50070
  • ResourceManager : 8088
  • MapReduece JobHitory : 19888 
번호 제목 글쓴이 날짜 조회 수
721 [Encryption Zone]Encryption Zone에 생성된 table을 select할때 HDFS /tmp/zone1에 대한 권한이 없는 경우 gooper 2023.06.29 12
720 [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 gooper 2023.11.01 12
719 [Oracle 11g]Kudu table의 meta정보를 담고 있는 table_params의 백업본을 이용하여 특정 컬럼값을 update하는 Oracle SQL문 gooper 2023.09.04 13
718 Hadoop Clsuter에 이미 포함된 host의 hostname변경시 처리 절차 gooper 2023.03.24 14
717 [CDP7.1.7]EncryptionZone에 table생성및 권한 테스트 gooper 2023.09.26 14
716 service name방식의 oracle을 메타정보 저장소로 사용할때 Hue Configuration설정하는 방법 총관리자 2022.02.12 15
715 [kerberos]Kerberos HA구성 참고 페이지 gooper 2022.08.31 15
714 [Hue admin]Add/Sync LDAP user, Sync LDAP users/groups 버튼 기능 설명 gooper 2023.08.09 15
713 [Hue metadata]Oracle에 있는 Hue 메타정보 테이블을 이용하여 coordinator와 workflow관계 목록을 추출하는 방법 gooper 2023.08.22 15
712 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 총관리자 2022.03.23 16
711 [Sentry] sentry메타 DB를 이용하여 테이블에 매핑되어 있는 role명칭 찾는 방법. gooper 2022.06.22 16
710 [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 gooper 2023.07.17 16
709 [EncryptionZone]User:hdfs not allowed to do 'DECRYPT_EEK on 'enc_key'오류 gooper 2023.11.02 16
708 임시 테이블에서 데이터를 읽어서 partitioned table에 입력하는 impala SQL문 예시 gooper 2023.11.10 16
707 [Active Directory] AD Kerberos보안 설정 변경 방법 (Maximum lifetime for user ticket, Maximum lifetime for user ticket renewal) gooper 2024.03.12 16
706 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 gooper 2023.01.17 17
705 windows10 pro에서 microservice pattern책의 예제를 kubernetes에서 기동하는 방법 총관리자 2022.01.30 18
704 [Hadoop Encryption] Encryption Zone 생성/설정시 User:hadoop not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 발생 조치 사항 gooper 2023.06.28 18
703 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 총관리자 2022.05.02 19
702 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 gooper 2023.06.07 19

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로