Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
클라우데라 설치
1. binary파일을 다운
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2. 실행권한 부여
sudo chmod u+x cloudera-manager-installer.bin
3. 설치 진행
sudo ./cloudera-manager-installer.bin
클라우데라 삭제
0. CM에서 Cluster stop및 Cloudera Manager Service를 stop시키고 서비스는 delete하고 Host는 cluster및 cloudera manager에서 제거한다.
1. cloudera-scm-server
가. sudo /usr/share/cmf/uninstall-cloudera-manager.sh
나. sudo apt-get remove cloudera-manager-server
다. sudo apt-get remove cloudera-manager-server-db-2
라. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
마. sudo rm /tmp/.scm_prepare_node.lock
바. sudo rm /etc/cloudera-scm-server/db.properties
사. sudo rm /var/lib/cloudera-scm-agent/cm_guid
아. sudo apt-get clean
* 참고 : uninstall-cloudera-manager.sh를 사용할 수 없는 경우 아래의 command 2개를 사용한다.
sudo service cloudera-scm-server stop
sudo service cloudera-scm-server-db stop
2. cloudera-scm-agent
가. sudo /usr/sbin/service cloudera-scm-agent next_stop_hard
나. sudo /usr/sbin/service cloudera-scm-agent stop
다. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
라. sudo rm /tmp/.scm_prepare_node.lock
바. sudo rm /var/lib/cloudera-scm-agent/cm_guid
사. 데이타 디렉토리등 삭제(재설치를 반복하는 경우는 삭제할 필요없음, 완전히 삭제하는 경우만 삭제할것)
sudo rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper