메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. 중지

  가. Backup->Replication Schedules에서 각각 중지시킴(필요시)

  나. Backup-> Snapshot Policies에서 각각 중지시킴(필요시)

  다. Coordinator 일시중지 : 수행중인 각 Coordinator를 suspend상태로 바꾼다.

  라. Cloudera Management Service중지 : CM-> Cloudera Management Service stop

  마. Cluster중지 : CM -> Cluster stop

  바. Cloudera Manager Agent중지 : sudo systemctl stop cloudera-scm-agent  (agent가 수행중인 모든 노드)

  사. Cloudera Manager Server중지 : sudo systemctl stop cloudera-scm-server ( CM이 설치된 노드)

  아. DB중지 : sudo systemctl stop mysql (Mysql이 설치된 노드)

  자. Kerberos서비스 중지 : sudo systemctl stop krb5kdc  (kerberos서비스가 동작중인 노드)

  차. kerberos관리 서비스 중지 : sudo systemclt stop kadmin (kerberos 관리 서비스가 동작중인 노드) 


2. 기동

  가. DB서비스 기동 : sudo systemctl start mysql (Mysql이 설치된 노드)

  나. kerberos서비스 기동 : sudo systemctl start krbkdc kadmin (Kerberos서비스가 기동될 노드)

  다. Cloudera Manager Server 시작 : sudo systemctl start cloudera-scm-server

  라. Cloudera Manager Agent 시작 : sudo systemctl start cloudera-scm-agent (agent가 설치된 모든 노드)

  마. Cluster시작 : CM > Cluster start

  바. Cloudera Management Service시작 : CM -. Cloudera Management Service start

  사. Coordinator 시작 : 중지 시켜준 Coordinator를 resume시켜준다.

  아. Backup -> Replication Schedules에서 각각에 대해서 "Run Now"를 수행

  자. Backup -> Snapshot Policies에서 각각에 대해서 재수행

번호 제목 글쓴이 날짜 조회 수
601 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030
600 Flume과 Kafka를 사용한 초당 100만개 로그 수집 테스트 file 총관리자 2016.10.31 1021
599 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 총관리자 2014.07.17 1002
598 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 총관리자 2014.05.20 999
597 mybatis와 spring을 org.apache.commons.dbcp2.BasicDataSource의 DataSource로 연동할때 DB설정(참고) 총관리자 2016.10.31 992
596 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 총관리자 2014.05.20 984
595 json으로 존재하는 데이터 parsing하기 총관리자 2019.03.25 974
594 [Magento]php7에 Composer를 이용하여 Magento 2.1.3 설치 file 총관리자 2017.01.30 971
593 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 총관리자 2018.05.28 961
592 hadoop 기반 문서 검색 총관리자 2014.09.25 957
591 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 총관리자 2014.09.25 951
590 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 총관리자 2018.08.16 944
589 column family삭제시 Column family 'delete' does not exist오류 발생하는 경우 총관리자 2014.04.14 932
588 동일서버에서 LA와 LC동시에 기동하여 테스트 총관리자 2014.04.01 928
587 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 총관리자 2017.07.18 892
586 unique한 값 생성 총관리자 2014.04.25 888
585 solr 6.2에 한글 형태소 분석기(arirang 6.x) 적용 및 테스트 file 총관리자 2017.06.27 881
584 Using The ZooKeeper CLI에서 zkCli의 위치 총관리자 2014.11.02 881
583 원격 리포지토리에서 최초 clone시 Permission denied (publickey). 오류발생시 조치사항 총관리자 2017.06.20 871
582 sqoop export/import등을 할때 driver를 못찾는 오류가 발생하면... 총관리자 2014.05.15 867

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로