메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


 1. oozie-site.xml의 db관련부분을 아래와 같이 설정해준다.

 

------------------------------------------------------------------------------------------------------------------------

   <property>
        <name>oozie.db.schema.name</name>
        <value>oozie</value>
        <description>
            Oozie DataBase Name
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.create.db.schema</name>
        <!-- value>false</value -->
        <value>true</value>
        <description>
            Creates Oozie DB.

            If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
            If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <!-- value>org.apache.derby.jdbc.EmbeddedDriver</value -->
        <value>com.mysql.jdbc.Driver</value>
        <description>
            JDBC driver class.
        </description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <!-- value>jdbc:derby:${oozie.data.dir}/${oozie.db.schema.name}-db;create=true</value -->
        <value>jdbc:mysql://localhost:3306/${oozie.db.schema.name}_db</value>
        <description>
            JDBC URL.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <!-- value>sa</value -->
        <value>hadoop</value>
        <description>
            DB user name.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>hadoop</value>
        <description>
            DB user password.

            IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
                       if empty Configuration assumes it is NULL.
        </description>
    </property>
------------------------------------------------------------------------------------------------------

2. mysql에 oozie에서 사용할 db를 생성한다.

mysql> create database oozie_db;
Query OK, 1 row affected (0.00 sec)

3. hadoop에 권한을 부여한다.

mysql> grant all privileges on *.* to hadoop@localhost identified by 'hadoop' with grant option;
Query OK, 0 rows affected (0.00 sec)

mysql> flush;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

4. mysql jdbc driver를 lib폴더에 copy한다.(oozie/lib에 복사하면 인식 안됩니다)

cp /home/hadoop/hive/lib/mysql-connector-java-5.1.30-bin.jar  /home/hadoop/oozie/oozie-server/lib

 

5. oozie를 stop한다

  oozie-stop.sh

 

6. oozie를 start한다.

  oozie-start.sh

 

 

번호 제목 날짜 조회 수
690 mysql-server 기동시 Do you already have another mysqld server running on port 오류 발생할때 확인및 조치방법 2017.05.14 5344
689 banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 file 2014.07.05 5344
688 빅데이터 분석을 위한 샘플 빅데이터 파일 다운로드 사이트 2014.04.28 5338
687 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 5307
686 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 2013.03.15 5304
685 HBase, BigTable, Cassandra Schema Design file 2013.03.15 5294
684 Hive Query Examples from test code (1 of 2) 2014.03.26 5245
683 ping 안될때.. networking restart 날려주면 잘됨.. 2014.05.09 5217
682 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 5211
681 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 5198
680 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 5188
679 의사분산모드에 hadoop설치및 ecosystem 환경 정리 2014.05.29 5170
678 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 5123
677 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5121
676 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
675 HBase 설치하기 – Pseudo-distributed file 2013.03.12 5094
674 kudu rebalance수행 command예시 2022.01.17 5074
673 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 5068
672 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 2016.12.23 5059
671 Cloudera의 API를 이용하여 impala의 실행되었던 쿼리 확인하는 예시 2018.05.03 5031
위로