메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


클라우데라 설치
1. binary파일을 다운
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2. 실행권한 부여
sudo chmod u+x cloudera-manager-installer.bin

3. 설치 진행
sudo ./cloudera-manager-installer.bin

클라우데라 삭제
0. CM에서 Cluster stop및 Cloudera Manager Service를 stop시키고 서비스는 delete하고 Host는 cluster및 cloudera manager에서 제거한다.
1. cloudera-scm-server
 가. sudo /usr/share/cmf/uninstall-cloudera-manager.sh
 나. sudo apt-get remove cloudera-manager-server
 다. sudo apt-get remove cloudera-manager-server-db-2
 라. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 마. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /etc/cloudera-scm-server/db.properties
 사. sudo rm /var/lib/cloudera-scm-agent/cm_guid
 아.  sudo apt-get clean 


 * 참고 : uninstall-cloudera-manager.sh를 사용할 수 없는 경우 아래의 command 2개를 사용한다.
 sudo service cloudera-scm-server stop
 sudo service cloudera-scm-server-db stop

2. cloudera-scm-agent
 가. sudo /usr/sbin/service cloudera-scm-agent next_stop_hard
 나. sudo /usr/sbin/service cloudera-scm-agent stop
 다. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 라. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /var/lib/cloudera-scm-agent/cm_guid


 사. 데이타 디렉토리등 삭제(재설치를 반복하는 경우는 삭제할 필요없음, 완전히 삭제하는 경우만 삭제할것)
   sudo rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
   sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper

번호 제목 글쓴이 날짜 조회 수
538 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 총관리자 2018.06.06 228
537 JAVA_HOME을 명시적으로 지정하는 방법 총관리자 2018.06.04 165
536 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 총관리자 2018.06.01 153
535 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 총관리자 2018.05.30 280
534 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 총관리자 2018.05.30 190
533 HUE를 사용할 사용자를 추가 하는 절차 총관리자 2018.05.29 365
532 JobHistory 서버 기동시 HDFS상에 특정 폴더를 생성할 수 없어서 기동하지 못하는 경우 조치 총관리자 2018.05.29 2897
531 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 총관리자 2018.05.28 958
» Cloudera Manager설치및 Uninstall 방법(순서) 총관리자 2018.05.28 1639
529 우분투 서버에 GUI로 접속하기 file 총관리자 2018.05.27 212
528 Cloudera Manager재설치하는 동안 "Host is in bad health"오류가 발생하는 경우 확인/조치 사항 총관리자 2018.05.24 88
527 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 총관리자 2018.05.23 64
526 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 총관리자 2018.05.23 244
525 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 총관리자 2018.05.22 169
524 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 총관리자 2018.05.22 450
523 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 총관리자 2018.05.22 140
522 Cloudera Hadoop and Spark Developer Certification 준비(참고) 총관리자 2018.05.16 32
521 tar를 이용한 리눅스 백업 총관리자 2018.05.13 35
520 crypto관련 기생충 박멸 스크립트 총관리자 2018.05.11 1340
519 Hue Job Browser의 Queries탭에서 조건을 지정하는 방법 총관리자 2018.05.10 84

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로