Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
0. 모니터링(MR, YARN, HBASE)
나. http://master:50070/dfshealth.html#tab-datanode
다. http://master:60010/master-status
1. hadoop 1.X
가. hadoop 관련 데몬 모두 start
start-all.sh
나. hadoop 관련 데몬 모두 stop
stop-all.sh
다. 안전모드 벗어나기
hadoop dfsadmin -safemode leave
라.map/reduce admin모니터링
http://localhost:50030/jobtracker.jsp
마. namenode 모니터링
http://localhost:50070/dfshealth.jsp
바. 기타
start-dfs.sh - Hadoop DFS daemon들(namenode and datanodes)을 기동함.(start-mapred.sh을 실행가지 전에 실행할 것)
stop-dfs.sh - Hadoop DFS daemon 들을 중지함.
start-mapred.sh - Hadoop Map/Reduce daemonem들(jobtracker 와 tasktracker들)을 기동함.
stop-mapred.sh - Hadoop Map/Reduce daemon들을 중지함.
start-all.sh - 모든 Hadoop daemon들(namenode, datanode들, jobtracker, tasktracker들) 기동함
(앞으로는 start-dfs.sh 과 start-mapred.sh을 연속 실행할것)
stop-all.sh - 모든 Hadoop daemon들을 중지시킴
(앞으로는 stop-mapred.sh 과 stop-dfs.sh을 연속 실행할것)
사. namenode만 stop/start
hadoop-daemon.sh stop/start namenode
1-1. hadoop 2.X
가. nodemanager
yarn-daemon.sh start nodemanager
나. datanode
hadoop-daemon.sh start datanode
다. resourcemanager
yarn-daemon.sh start resourcemanager
라. namenode
hadoop-daemon.sh start namenode
마. zkfc
hadoop-daemon.sh start zkfc
2. oozie
가. oozie start
oozie-start.sh
나. oozie stop
oozie-stop.sh
다. 모니터링
라. xml유효성 체크
oozie validate workflow.xml
3. hive
가. 시작/종료
nohup hive --service metastore>$HIVE_LOG_DIR/hive.out 2>$HIVE_LOG_DIR/hive.log & 를 먼저 실행함
나. hive shell 실행(hbase연동 작업할 경우)
hive --auxpath /home/hadoop/hive/lib/hbase-0.94.6.1.jar,/home/hadoop/hive/lib/zookeeper-3.4.3.jar,/home/hadoop/hive/lib/hive-hbase-handler-0.11.0.jar,/home/hadoop/hive/lib/guava-11.0.2.jar,/home/hadoop/hive/lib/hive-contrib-0.11.0.jar -hiveconf hbase.master=localhost:60000
다. metastore 서버기동
hive --service metastore &
라. hiveserver2 서버기동
hive --service hiveserver2
4. ubuntu
가......
5. mysql
가. sql파일을 이용하여 일괄 실행
mysql -uUserId -pPassword DataBaseName --default-character-set=utf-8 < ExportFileName.sql
나. mysql dump명령
mysqldump -u gooper -p gooper > gooper_db_20140321.sql
다. mysql shell들어가기
mysql -u root -p
6. hbase
가. start
start-hbase.sh
나. stop
stop-hbase.sh
다. hmaster 기동/중지/restart
hbase-daemon.sh start/stop master
라. regionmaster 기동/중지/restart
hbase-daemon.sh start/stop/restart regionserver
마. 모니터링
-RegionServer
- HMaster
바. thrift server기동
hadoop@bigdata-host:~/hadoop/working$ hbase thrift start
7. zookeeper
가. 시작
zkServer.sh start
나. 중지
zkServer.sh stop
다. zk shell
zkCli.sh -server localhost:2181
-----------------hadoop 2.X---------------------------
Daemon포트
- NameNode : 50070
- ResourceManager : 8088
- MapReduece JobHitory : 19888
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
» | hadoop및 ecosystem에서 사용되는 명령문 정리 | 총관리자 | 2014.05.28 | 3455 |
6 | hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 | 총관리자 | 2015.05.05 | 3770 |
5 | Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) | 구퍼 | 2013.03.07 | 3995 |
4 | [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 | 총관리자 | 2018.01.03 | 5313 |
3 | org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. | 구퍼 | 2013.03.11 | 14781 |
2 | mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 | 총관리자 | 2017.05.04 | 16898 |
1 | bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 | 총관리자 | 2015.04.24 | 19143 |