메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


클라우데라 설치
1. binary파일을 다운
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2. 실행권한 부여
sudo chmod u+x cloudera-manager-installer.bin

3. 설치 진행
sudo ./cloudera-manager-installer.bin

클라우데라 삭제
0. CM에서 Cluster stop및 Cloudera Manager Service를 stop시키고 서비스는 delete하고 Host는 cluster및 cloudera manager에서 제거한다.
1. cloudera-scm-server
 가. sudo /usr/share/cmf/uninstall-cloudera-manager.sh
 나. sudo apt-get remove cloudera-manager-server
 다. sudo apt-get remove cloudera-manager-server-db-2
 라. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 마. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /etc/cloudera-scm-server/db.properties
 사. sudo rm /var/lib/cloudera-scm-agent/cm_guid
 아.  sudo apt-get clean 


 * 참고 : uninstall-cloudera-manager.sh를 사용할 수 없는 경우 아래의 command 2개를 사용한다.
 sudo service cloudera-scm-server stop
 sudo service cloudera-scm-server-db stop

2. cloudera-scm-agent
 가. sudo /usr/sbin/service cloudera-scm-agent next_stop_hard
 나. sudo /usr/sbin/service cloudera-scm-agent stop
 다. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 라. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /var/lib/cloudera-scm-agent/cm_guid


 사. 데이타 디렉토리등 삭제(재설치를 반복하는 경우는 삭제할 필요없음, 완전히 삭제하는 경우만 삭제할것)
   sudo rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
   sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper

번호 제목 날짜 조회 수
670 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 2022.05.13 3995
669 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 4208
668 [TLS/SSL]Kudu Master 설정하기 2022.05.13 4294
667 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 4197
666 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 2022.05.13 4658
665 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 2022.05.11 4072
664 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 4827
663 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 4621
662 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 4590
661 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 2022.05.02 4109
660 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 2022.04.30 4245
659 주문히스토리 조회 2022.04.30 2618
658 주문 생성 데이터 예시 2022.04.30 2331
657 restaurant-controller,에서 등록 예시 2022.04.30 2126
656 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 4259
655 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 2022.04.14 2166
654 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 2022.04.14 3252
653 collection생성혹은 collection조회시 Plugin init failure for [schema.xml] fieldType "pdate": Error loading class 'solr.IntField' 오류 조치사항 2022.04.07 3443
652 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 2022.04.01 3154
651 HDFS에서 quota 설정 방법및 확인 방법 2022.03.30 4195
위로