메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Cloudera CDH/CDP Embedded PostgreSql설정을 외부의 MariaDB로변경하기

총관리자 2018.05.22 23:08 조회 수 : 170

1. cloudera에서 사용하는 db를 외부 db정보로 변경한다.

  cloudera MANAGER -> Clusters->Configuration->Database Settings에서 각각 변경시켜준다.

  (rm /etc/cloudera-scm-server/db.mgmt.properties를 실행시켜 주어야 db설정정보가 없어져서 다시 설정할 수 있게된다.)


2. 외부 db에 db밑 테이블 생성

가. Hue

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Hue Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Synchronize database (테이블 생성)


나. Oozie

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Server Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Database Tables (테이블 생성)


다. Navigator Audit Server


라 Hive

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore Database (db생성)

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore database tables (테이블 생성)


  // hive-site.xml에 설정되는 값을 기준으로 설정할때 사용됨

  cloudera MANAGER -> Clusters -> Hive-> Configuration-> Auto Create and Upgrade Hive Metastore Database Schema (db생성)


3. db를 직접생성하는 방법및 생성 대상(mysql에 접속하여 필요한 db및 사용자를 생성하고 변경사항을 반영한다.(flush privileges;)) -필요시 실행

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'rman_password';

create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive_password';

create database sentry DEFAULT CHARACTER SET utf8;
grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry_password';

create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'nav_password';

create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'navms_password';

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'hue_password';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie_password';

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'scm_password';

* SCM DB접속 정보는 아래 파일에 있음
sudo vi  /etc/cloudera-scm-server/db.properties

4. scm용 db생성(cloudera-scm-server가 설치된 곳에서 아래의 script를 실행시켜준다.)

*참고 : https://www.gooper.com/ss/bigdata/6524


sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -h gsda3 -P 3306 -utest -ptest --scm-host gsda1 scm scm scm_password

-->실행결과

JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing:  /usr/lib/jvm/java-7-oracle-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

[2018-05-22 23:05:24,063] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.

All done, your SCM database is configured correctly!



* 기타참고

https://community.cloudera.com/t5/Cloudera-Manager-Installation/scm-prepare-database-sh/td-p/23423


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Configure-Cloudera-Manager-with-external-database-AWS-RDS-MySQL/m-p/52582#M9958


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Foreign-Key-issue-creating-SCM-repository-in-MySQL-database/td-p/2523

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
421 VPS에서는 root로 실행해도 swap파일을 만들지 못하게 만들어 두었지만 swap파일을 생성하는 방법 총관리자 2017.06.20 120
420 Ubuntu에서 sbt및 scala설치하기 총관리자 2017.06.20 125
419 lagom을 이용한 샘플 경매 프로그램 실행방법 총관리자 2017.06.20 181
418 원격 리포지토리에서 최초 clone시 Permission denied (publickey). 오류발생시 조치사항 총관리자 2017.06.20 871
417 .git폴더를 삭제하고 다시 git에 추가하고 서버에 반영하는 방법 총관리자 2017.06.19 4079
416 [Dovecot] -ERR [SYS/PERM] Permission denied 총관리자 2017.06.13 238
415 숭실대 교수님등 강의영상(바이오데이터마이닝, 빅데이터분산컴퓨팅, 컴퓨터 그래픽스, 데이터베이스응용및 프로그램밍, 데이터베이스, 의생명영상처리, 웹그로그래밍, 데이터마이닝, 컴퓨터구조) file 총관리자 2017.06.13 207
414 시맨틱 관련 논문 모음 사이트 총관리자 2017.06.13 94
413 [dovecot]dovecot restart할때 root@gsda4:/usr/lib/dovecot# service dovecot restart 오류 발생시 조치사항 총관리자 2017.06.12 492
412 sendmail + dovecot(pop3) + saslauthd 설치 총관리자 2017.06.11 193
411 sendmail전송시 421 4.3.0 collect: Cannot write ./dfv5BA2EBS010579 (bfcommit, uid=0, gid=114): No such file or directory 발생시 조치사항 총관리자 2017.06.11 694
410 Eclipse 에서 bitbucket.org 연동 하기 file 총관리자 2017.06.08 284
409 [u-Auctions]목록이 1개만 나오는 문제 총관리자 2017.05.29 38
408 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 총관리자 2017.05.23 1120
407 Ubuntu 16.04LTS 설치후 초기에 주어야 하는 작업(php, apache, mariadb설치및 OS보안설정등) file 총관리자 2017.05.23 5273
406 Ubuntu 16.04 LTS에서 사이트에 무료인증서를 이용하여 SSL적용 file 총관리자 2017.05.23 354
405 fuseki용 config-examples.ttl 예시 내용 총관리자 2017.05.17 646
404 webid에서 google처럼 검색할 수 있도록 하는 프로그램 총관리자 2017.05.16 46
403 mysql-server 기동시 Do you already have another mysqld server running on port 오류 발생할때 확인및 조치방법 총관리자 2017.05.14 2675
402 php auction 프로그램 총관리자 2017.05.14 94
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로