메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


클라우데라 설치
1. binary파일을 다운
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2. 실행권한 부여
sudo chmod u+x cloudera-manager-installer.bin

3. 설치 진행
sudo ./cloudera-manager-installer.bin

클라우데라 삭제
0. CM에서 Cluster stop및 Cloudera Manager Service를 stop시키고 서비스는 delete하고 Host는 cluster및 cloudera manager에서 제거한다.
1. cloudera-scm-server
 가. sudo /usr/share/cmf/uninstall-cloudera-manager.sh
 나. sudo apt-get remove cloudera-manager-server
 다. sudo apt-get remove cloudera-manager-server-db-2
 라. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 마. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /etc/cloudera-scm-server/db.properties
 사. sudo rm /var/lib/cloudera-scm-agent/cm_guid
 아.  sudo apt-get clean 


 * 참고 : uninstall-cloudera-manager.sh를 사용할 수 없는 경우 아래의 command 2개를 사용한다.
 sudo service cloudera-scm-server stop
 sudo service cloudera-scm-server-db stop

2. cloudera-scm-agent
 가. sudo /usr/sbin/service cloudera-scm-agent next_stop_hard
 나. sudo /usr/sbin/service cloudera-scm-agent stop
 다. sudo apt-get purge 'cloudera-manager-*' avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr
 라. sudo rm /tmp/.scm_prepare_node.lock
 바. sudo rm /var/lib/cloudera-scm-agent/cm_guid


 사. 데이타 디렉토리등 삭제(재설치를 반복하는 경우는 삭제할 필요없음, 완전히 삭제하는 경우만 삭제할것)
   sudo rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*
   sudo rm -Rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper

번호 제목 글쓴이 날짜 조회 수
548 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 총관리자 2018.07.15 152
547 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 총관리자 2018.07.03 269
546 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 총관리자 2018.07.03 986
545 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 총관리자 2018.06.28 148
544 하둡기반 데이타 모델링(6편) 총관리자 2018.06.27 117
543 CDH에서 Sentry 개념및 설정 file 총관리자 2018.06.21 142
542 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 총관리자 2018.06.20 124
541 dr.who로 공격들어오는 경우 조치방법 file 총관리자 2018.06.09 4989
540 spark-shell을 실행하면 "Attempted to request executors before the AM has registered!"라는 오류가 발생하면 총관리자 2018.06.08 379
539 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 총관리자 2018.06.08 148
538 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 총관리자 2018.06.06 166
537 JAVA_HOME을 명시적으로 지정하는 방법 총관리자 2018.06.04 144
536 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 총관리자 2018.06.01 113
535 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 총관리자 2018.05.30 146
534 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 총관리자 2018.05.30 137
533 HUE를 사용할 사용자를 추가 하는 절차 총관리자 2018.05.29 178
532 JobHistory 서버 기동시 HDFS상에 특정 폴더를 생성할 수 없어서 기동하지 못하는 경우 조치 총관리자 2018.05.29 2762
531 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 총관리자 2018.05.28 707
» Cloudera Manager설치및 Uninstall 방법(순서) 총관리자 2018.05.28 562
529 우분투 서버에 GUI로 접속하기 file 총관리자 2018.05.27 159

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로