메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. 모니터링(MR, YARN, HBASE)

  가. http://master:8088/cluster

  나. http://master:50070/dfshealth.html#tab-datanode

  다. http://master:60010/master-status

1. hadoop 1.X

  가. hadoop 관련 데몬 모두 start

     start-all.sh

  나. hadoop 관련 데몬 모두 stop

     stop-all.sh

  다. 안전모드 벗어나기

     hadoop dfsadmin -safemode leave

  라.map/reduce admin모니터링

    http://localhost:50030/jobtracker.jsp

  마. namenode 모니터링

    http://localhost:50070/dfshealth.jsp

  바. 기타

    start-dfs.sh - Hadoop DFS daemon들(namenode and datanodes)을 기동함.(start-mapred.sh을 실행가지 전에 실행할 것)
    stop-dfs.sh - Hadoop DFS daemon 들을 중지함.
    start-mapred.sh - Hadoop Map/Reduce daemonem들(jobtracker 와 tasktracker들)을 기동함.
    stop-mapred.sh - Hadoop Map/Reduce daemon들을 중지함.
    start-all.sh - 모든 Hadoop daemon들(namenode, datanode들, jobtracker, tasktracker들) 기동함
                         (앞으로는 start-dfs.sh 과 start-mapred.sh을 연속 실행할것)
    stop-all.sh - 모든 Hadoop daemon들을 중지시킴

                         (앞으로는 stop-mapred.sh 과 stop-dfs.sh을 연속 실행할것)

  사. namenode만 stop/start

    hadoop-daemon.sh stop/start namenode

1-1. hadoop 2.X

  가. nodemanager

      yarn-daemon.sh start nodemanager

  나. datanode

       hadoop-daemon.sh start datanode

  다. resourcemanager

       yarn-daemon.sh start resourcemanager

  라. namenode

       hadoop-daemon.sh start namenode

  마. zkfc

    hadoop-daemon.sh start zkfc

2. oozie

  가. oozie start

    oozie-start.sh

   나. oozie stop

    oozie-stop.sh

   다.  모니터링

    http://localhost:11000/oozie

  라. xml유효성 체크

    oozie validate workflow.xml

3. hive

  가. 시작/종료

       nohup hive --service metastore>$HIVE_LOG_DIR/hive.out 2>$HIVE_LOG_DIR/hive.log & 를 먼저 실행함

  나. hive  shell 실행(hbase연동 작업할 경우)

    hive --auxpath /home/hadoop/hive/lib/hbase-0.94.6.1.jar,/home/hadoop/hive/lib/zookeeper-3.4.3.jar,/home/hadoop/hive/lib/hive-hbase-handler-0.11.0.jar,/home/hadoop/hive/lib/guava-11.0.2.jar,/home/hadoop/hive/lib/hive-contrib-0.11.0.jar -hiveconf hbase.master=localhost:60000

 다. metastore 서버기동

    hive --service metastore &
 라. hiveserver2 서버기동

     hive --service hiveserver2

4. ubuntu

  가......

5. mysql

  가.  sql파일을 이용하여 일괄 실행

      mysql -uUserId -pPassword DataBaseName  --default-character-set=utf-8 < ExportFileName.sql

  나. mysql dump명령

     mysqldump -u gooper -p gooper > gooper_db_20140321.sql

  다. mysql shell들어가기

    mysql -u root -p

6. hbase

  가. start

    start-hbase.sh

  나. stop

    stop-hbase.sh

  다. hmaster 기동/중지/restart

    hbase-daemon.sh start/stop master

  라. regionmaster 기동/중지/restart

    hbase-daemon.sh start/stop/restart regionserver

  마. 모니터링

    -RegionServer

    http://localhost:60030/

   - HMaster

    http://localhost:60010/


  바. thrift server기동

    hadoop@bigdata-host:~/hadoop/working$ hbase thrift start

7. zookeeper

  가. 시작

    zkServer.sh start

  나. 중지

    zkServer.sh stop

  다. zk shell

    zkCli.sh -server localhost:2181

 

-----------------hadoop 2.X---------------------------
Daemon포트

  • NameNode : 50070
  • ResourceManager : 8088
  • MapReduece JobHitory : 19888 
번호 제목 글쓴이 날짜 조회 수
420 [Impala jdbc]CDP7.1.7환경에서 java프로그램을 이용하여 kerberized impala cluster에 접근하여 SQL을 수행하는 방법 gooper 2023.08.22 59
419 [Hue metadata]Oracle에 있는 Hue 메타정보 테이블을 이용하여 coordinator와 workflow관계 목록을 추출하는 방법 gooper 2023.08.22 15
418 [Hue admin]Add/Sync LDAP user, Sync LDAP users/groups 버튼 기능 설명 gooper 2023.08.09 15
417 oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 gooper 2023.07.26 10
416 [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 gooper 2023.07.17 16
415 [Encryption Zone]Encryption Zone에 생성된 table을 select할때 HDFS /tmp/zone1에 대한 권한이 없는 경우 gooper 2023.06.29 12
414 [EncryptionZone]User:testuser not allowed to do "DECRYPT_EEK" on 'testkey' gooper 2023.06.29 11
413 [HDFS]Encryption Zone에 생성된 테이블 조회시 Failed to open HDFS file hdfs://nameservice1/tmp/zone1/sec_test_file.txt Error(255): Unknown error 255 Root cause: AuthorizationException: User:impala not allowd to do 'DECRYPT_EEK' on 'testkey' gooper 2023.06.29 53
412 [Hadoop Encryption] Encryption Zone 생성/설정시 User:hadoop not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 발생 조치 사항 gooper 2023.06.28 18
411 [KTS Cluster의 Key Trustee Server]self-signed 인증서 발급및 설정 방법 gooper 2023.06.27 29
410 [Ranger]RangerAdminRESTClient Error gertting pplicies; Received NULL response!!, secureMode=true, user=rangerkms/node01.gooper.com@ GOOPER.COM (auth:KERBEROS), serviceName=cm_kms gooper 2023.06.27 24
409 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 gooper 2023.06.07 19
408 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 gooper 2023.05.31 22
407 Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 gooper 2023.05.19 93
406 [Atlas Server]org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)] gooper 2023.05.15 66
405 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 gooper 2023.04.18 49
404 [DataNode]org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: hdfs/datanode03@GOOPER.COM from keytab hdfs.keytab오류 gooper 2023.04.18 4613
403 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 gooper 2023.03.28 37
402 Hadoop Clsuter에 이미 포함된 host의 hostname변경시 처리 절차 gooper 2023.03.24 15
401 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) gooper 2023.03.16 536

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로