메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


 1. oozie-site.xml의 db관련부분을 아래와 같이 설정해준다.

 

------------------------------------------------------------------------------------------------------------------------

   <property>
        <name>oozie.db.schema.name</name>
        <value>oozie</value>
        <description>
            Oozie DataBase Name
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.create.db.schema</name>
        <!-- value>false</value -->
        <value>true</value>
        <description>
            Creates Oozie DB.

            If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
            If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <!-- value>org.apache.derby.jdbc.EmbeddedDriver</value -->
        <value>com.mysql.jdbc.Driver</value>
        <description>
            JDBC driver class.
        </description>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <!-- value>jdbc:derby:${oozie.data.dir}/${oozie.db.schema.name}-db;create=true</value -->
        <value>jdbc:mysql://localhost:3306/${oozie.db.schema.name}_db</value>
        <description>
            JDBC URL.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <!-- value>sa</value -->
        <value>hadoop</value>
        <description>
            DB user name.
        </description>
    </property>

    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>hadoop</value>
        <description>
            DB user password.

            IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
                       if empty Configuration assumes it is NULL.
        </description>
    </property>
------------------------------------------------------------------------------------------------------

2. mysql에 oozie에서 사용할 db를 생성한다.

mysql> create database oozie_db;
Query OK, 1 row affected (0.00 sec)

3. hadoop에 권한을 부여한다.

mysql> grant all privileges on *.* to hadoop@localhost identified by 'hadoop' with grant option;
Query OK, 0 rows affected (0.00 sec)

mysql> flush;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

4. mysql jdbc driver를 lib폴더에 copy한다.(oozie/lib에 복사하면 인식 안됩니다)

cp /home/hadoop/hive/lib/mysql-connector-java-5.1.30-bin.jar  /home/hadoop/oozie/oozie-server/lib

 

5. oozie를 stop한다

  oozie-stop.sh

 

6. oozie를 start한다.

  oozie-start.sh

 

 

번호 제목 날짜 조회 수
90 파일명 혹은 확장자 일괄 변경하는 방법 2017.01.26 2810
89 슬라이딩 윈도우 예제 2016.07.28 2803
88 Spark에서 KafkaUtils.createStream()를 이용하여 이용하여 kafka topic에 접근하여 객채로 저장된 값을 가져오고 처리하는 예제 소스 2017.04.26 2802
87 webid에서 google처럼 검색할 수 있도록 하는 프로그램 2017.05.16 2782
86 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 2015.05.06 2779
85 에러 추적(Error Tracking) 및 로그 취합(logging aggregation) 시스템인 Sentry 설치 2018.03.14 2778
84 magento2 설치후 초기화면이 깨지는 문제 file 2017.01.31 2774
83 jdk 9이상 사용하려면 repository를 아래와 같이 지정해야한다. 2019.06.02 2770
82 [Kerberos]Kerberos authentication cache를 FILE로 지정해도 KCM으로 저장되는 경우 조치방법 2024.11.03 2768
81 SPARQL의 유형, SPARQL 만들기등에 대한 설명 2016.02.18 2768
80 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 2017.01.25 2763
79 halyard 1.3의 rdf4j-server.war와 rdf4j-workbench.war를 tomcat deploy후 조회시 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/Cell발생시 조치사항 2017.07.05 2744
78 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 2024.01.15 2736
77 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 2016.08.12 2732
76 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 2016.11.01 2719
75 파일은 남겨두고 파일 내용만 지우고자 할 때. 2017.08.30 2709
74 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 2707
73 HBase write 성능 튜닝 file 2017.07.18 2703
72 lagom의 online-auction-java프로젝트 실행시 "Could not find Cassandra contact points, due to: ServiceLocator is not bound" 경고 발생시 조치사항 2017.10.12 2695
71 TopBraid Composer에서 SPIN 사용법 file 2016.02.25 2688
위로