메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Cloudera CDH/CDP Embedded PostgreSql설정을 외부의 MariaDB로변경하기

총관리자 2018.05.22 23:08 조회 수 : 170

1. cloudera에서 사용하는 db를 외부 db정보로 변경한다.

  cloudera MANAGER -> Clusters->Configuration->Database Settings에서 각각 변경시켜준다.

  (rm /etc/cloudera-scm-server/db.mgmt.properties를 실행시켜 주어야 db설정정보가 없어져서 다시 설정할 수 있게된다.)


2. 외부 db에 db밑 테이블 생성

가. Hue

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Hue Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Synchronize database (테이블 생성)


나. Oozie

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Server Database (db생성)

  cloudera MANAGER -> Clusters -> Hue -> Actions -> Create Oozie Database Tables (테이블 생성)


다. Navigator Audit Server


라 Hive

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore Database (db생성)

  cloudera MANAGER -> Clusters -> Hive-> Actions -> Create Hive Metastore database tables (테이블 생성)


  // hive-site.xml에 설정되는 값을 기준으로 설정할때 사용됨

  cloudera MANAGER -> Clusters -> Hive-> Configuration-> Auto Create and Upgrade Hive Metastore Database Schema (db생성)


3. db를 직접생성하는 방법및 생성 대상(mysql에 접속하여 필요한 db및 사용자를 생성하고 변경사항을 반영한다.(flush privileges;)) -필요시 실행

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';

create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'rman_password';

create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive_password';

create database sentry DEFAULT CHARACTER SET utf8;
grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry_password';

create database nav DEFAULT CHARACTER SET utf8;
grant all on nav.* TO 'nav'@'%' IDENTIFIED BY 'nav_password';

create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'navms_password';

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'hue_password';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie_password';

create database scm DEFAULT CHARACTER SET utf8;
grant all on scm.* TO 'scm'@'%' IDENTIFIED BY 'scm_password';

* SCM DB접속 정보는 아래 파일에 있음
sudo vi  /etc/cloudera-scm-server/db.properties

4. scm용 db생성(cloudera-scm-server가 설치된 곳에서 아래의 script를 실행시켜준다.)

*참고 : https://www.gooper.com/ss/bigdata/6524


sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -h gsda3 -P 3306 -utest -ptest --scm-host gsda1 scm scm scm_password

-->실행결과

JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera

Verifying that we can write to /etc/cloudera-scm-server

Creating SCM configuration file in /etc/cloudera-scm-server

Executing:  /usr/lib/jvm/java-7-oracle-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

[2018-05-22 23:05:24,063] INFO     0[main] - com.cloudera.enterprise.dbutil.DbCommandExecutor.testDbConnection(DbCommandExecutor.java) - Successfully connected to database.

All done, your SCM database is configured correctly!



* 기타참고

https://community.cloudera.com/t5/Cloudera-Manager-Installation/scm-prepare-database-sh/td-p/23423


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Configure-Cloudera-Manager-with-external-database-AWS-RDS-MySQL/m-p/52582#M9958


http://community.cloudera.com/t5/Cloudera-Manager-Installation/Foreign-Key-issue-creating-SCM-repository-in-MySQL-database/td-p/2523

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
601 부팅을 외장하드에서 하도록 변경하는 방법 총관리자 2015.07.28 247
600 pom.xml에서 build.gradle로 변환 총관리자 2015.09.14 201
599 mongodb 2.6.6 설치(64bit) 총관리자 2015.09.30 185
598 SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. 총관리자 2015.09.30 141
597 root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) 총관리자 2015.10.02 361
596 DB별 JDBC 드라이버 총관리자 2015.10.02 256
595 Mybatis foreach 문법정리(상황에 따른 사용법) 총관리자 2015.11.10 1181
594 mybais #과 $의 차이점 총관리자 2015.11.10 179
593 Resource temporarily unavailable(자원이 일시적으로 사용 불가능함) 오류조치 총관리자 2015.11.19 6928
592 Runtime.getRuntime().exec(cmd) sample 소스 총관리자 2015.11.19 305
591 sparql에서 concat에제 총관리자 2015.11.27 161
590 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 총관리자 2015.12.01 1456
589 ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 총관리자 2015.12.08 427
588 protege 4.3 다운로드 총관리자 2015.12.09 126
587 git설명 한글판 총관리자 2015.12.09 358
586 sparql 문법구조 설명 file 총관리자 2015.12.09 378
585 대표 오픈소스 라이선스, 한 눈에 보기! 총관리자 2015.12.10 168
584 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 총관리자 2015.12.16 150
583 java quartz 시간 설정 참고사항 총관리자 2015.12.16 179
582 console명령과 API비교 총관리자 2015.12.21 120
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로