메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Cloudera CDH/CDP Embedded PostgreSql설정을 외부의 MariaDB로변경하기

총관리자 2018.05.22 23:08 조회 수 : 169

1. cloudera에서 사용하는 db를 외부 db정보로 변경한다.

  cloudera MANAGER -> Clusters->Configuration->Database Settings에서 각각 변경시켜준다.

  (rm /etc/cloudera-scm-server/db.mgmt.properties를 실행시켜 주어야 db설정정보가 없어져서 다시 설정할 수 있게된다.)


2. 외부 db에 db밑 테이블 생성

가. Hue

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Hue Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Synchronize database (테이블 생성)


나. Oozie

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Server Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Database Tables (테이블 생성)


다. Navigator Audit Server


라 Hive

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore Database (db생성)

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore database tables (테이블 생성)


  // hive-site.xml에 설정되는 값을 기준으로 설정할때 사용됨

  cloudera MANAGER -> Clusters -> Hive-> Configuration-> Auto Create and Upgrade Hive Metastore Database Schema (db생성)


3. db를 직접생성하는 방법및 생성 대상(mysql에 접속하여 필요한 db및 사용자를 생성하고 변경사항을 반영한다.(flush privileges;)) -필요시 실행

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'rman_password';

create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive_password';

create database sentry DEFAULT CHARACTER SET utf8;
grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry_password';

create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'nav_password';

create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'navms_password';

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'hue_password';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie_password';

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'scm_password';

* SCM DB접속 정보는 아래 파일에 있음
sudo vi  /etc/cloudera-scm-server/db.properties

4. scm용 db생성(cloudera-scm-server가 설치된 곳에서 아래의 script를 실행시켜준다.)

*참고 : https://www.gooper.com/ss/bigdata/6524


sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -h gsda3 -P 3306 -utest -ptest --scm-host gsda1 scm scm scm_password

-->실행결과

JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing:  /usr/lib/jvm/java-7-oracle-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

[2018-05-22 23:05:24,063] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.

All done, your SCM database is configured correctly!



* 기타참고

https://community.cloudera.com/t5/Cloudera-Manager-Installation/scm-prepare-database-sh/td-p/23423


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Configure-Cloudera-Manager-with-external-database-AWS-RDS-MySQL/m-p/52582#M9958


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Foreign-Key-issue-creating-SCM-repository-in-MySQL-database/td-p/2523

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
660 주문히스토리 조회 총관리자 2022.04.30 10
659 주문 생성 데이터 예시 총관리자 2022.04.30 11
658 restaurant-controller,에서 등록 예시 총관리자 2022.04.30 33
657 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 총관리자 2022.04.28 27
656 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 총관리자 2022.04.14 41
655 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 총관리자 2022.04.14 55
654 collection생성혹은 collection조회시 Plugin init failure for [schema.xml] fieldType "pdate": Error loading class 'solr.IntField' 오류 조치사항 총관리자 2022.04.07 107
653 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 총관리자 2022.04.01 48
652 HDFS에서 quota 설정 방법및 확인 방법 총관리자 2022.03.30 55
651 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 총관리자 2022.03.23 16
650 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 총관리자 2022.03.21 46
649 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 총관리자 2022.03.17 214
648 [TLS]pkcs12형식의 인증서 생성및 jks형식 인증서 생성 커맨드 예시 총관리자 2022.03.15 121
647 [TLS]TLS용 사설 인증서 변경 혹은 신규 지정시 No trusted certificate found 오류 발생시 확인및 조치사항 총관리자 2022.03.15 60
646 [CentOS 7.4]Hadoop NFS gateway기동시 Cannot connect to port 2049 오류 발생시 확인/조치 총관리자 2022.03.02 75
645 Oracle RAC 구성된 DB서버에 대한 컴포넌트별 설정 방법 총관리자 2022.02.12 27
644 service name방식의 oracle을 메타정보 저장소로 사용할때 Hue Configuration설정하는 방법 총관리자 2022.02.12 15
643 oracle 접속 방식에 따른 --connect 지정 방법 총관리자 2022.02.11 24
642 [vue storefrontui]외부 API통합하기 참고 문서 총관리자 2022.02.09 7
641 vuestorefrontui.io를 이용한 front end project 생성하기 총관리자 2022.02.06 23
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로