메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


 1. oozie-site.xml의 db관련부분을 아래와 같이 설정해준다.

 

------------------------------------------------------------------------------------------------------------------------

   <property>
        <name>oozie.db.schema.name</name>
        <value>oozie</value>
        <description>
            Oozie DataBase Name
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.create.db.schema</name>
        <!-- value>false</value -->
        <value>true</value>
        <description>
            Creates Oozie DB.

            If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
            If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <!-- value>org.apache.derby.jdbc.EmbeddedDriver</value -->
        <value>com.mysql.jdbc.Driver</value>
        <description>
            JDBC driver class.
        </description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <!-- value>jdbc:derby:${oozie.data.dir}/${oozie.db.schema.name}-db;create=true</value -->
        <value>jdbc:mysql://localhost:3306/${oozie.db.schema.name}_db</value>
        <description>
            JDBC URL.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <!-- value>sa</value -->
        <value>hadoop</value>
        <description>
            DB user name.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>hadoop</value>
        <description>
            DB user password.

            IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
                       if empty Configuration assumes it is NULL.
        </description>
    </property>
------------------------------------------------------------------------------------------------------

2. mysql에 oozie에서 사용할 db를 생성한다.

mysql> create database oozie_db;
Query OK, 1 row affected (0.00 sec)

3. hadoop에 권한을 부여한다.

mysql> grant all privileges on *.* to hadoop@localhost identified by 'hadoop' with grant option;
Query OK, 0 rows affected (0.00 sec)

mysql> flush;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

4. mysql jdbc driver를 lib폴더에 copy한다.(oozie/lib에 복사하면 인식 안됩니다)

cp /home/hadoop/hive/lib/mysql-connector-java-5.1.30-bin.jar  /home/hadoop/oozie/oozie-server/lib

 

5. oozie를 stop한다

  oozie-stop.sh

 

6. oozie를 start한다.

  oozie-start.sh

 

 

번호 제목 날짜 조회 수
90 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 2017.07.04 5029
89 서버 5대에 solr 5.5.0 설치하고 index data를 HDFS에 저장/search하도록 설치/설정하는 방법 2016.04.08 5047
88 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 2017.12.28 5059
87 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 5062
86 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 2016.12.23 5065
85 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 5074
84 kudu rebalance수행 command예시 2022.01.17 5084
83 HBase 설치하기 – Pseudo-distributed file 2013.03.12 5095
82 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
81 TLS/SSl설정시 방법및 참고 사항 2021.10.08 5104
80 hue db에서 사용자가 가지는 정보 확인 2020.02.10 5106
79 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 2022.03.23 5115
78 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5122
77 [백업] 리눅스 시스템 백업하기 (Linux System Backup) - TAR 사용 시스템 전체 백업 2022.01.19 5131
76 [CDP7.1.3]Ranger WebUI에서 Error! Connection refused: Please check the KMS provider URL and whether the Ranager KMS is running발생시 조치 방법 2023.06.07 5140
75 Cloudera의 API를 이용하여 impala의 실행되었던 쿼리 확인하는 예시 2018.05.03 5145
74 의사분산모드에 hadoop설치및 ecosystem 환경 정리 2014.05.29 5170
73 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 2016.05.02 5189
72 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 2017.07.26 5195
71 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 5202
위로