메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. coordinator.xml에서 아래와 같이 <datasets></datasets>을 추가해주면 <done-flag></done-flag>사이에 지정된 파일이 <uri-template></uri-template>사이의 경로에 생성되어야만 action이 실행되도록 할 수 있다.

 

-----------------------------------------------------------------coordinator.xml-------------------------------------------------------------------------------------

<coordinator-app name="${scenarioNo}-s-C" frequency="${coord:minutes(1)}" start="${startTime}" end="${endTime}"
timezone="UTC" xmlns="uri:oozie:coordinator:0.1">
    <controls>
     <concurrency>1</concurrency>
    </controls>

    <datasets>
         <dataset name="logs" frequency="${coord:minutes(1)}"
                initial-instance="${startTime}" timezone="UTC">
            <uri-template>
                ${nameNode}/data1/cas/output/s1/${YEAR}/${MONTH}/${DAY}
            </uri-template>
         <done-flag>000000_0</done-flag>
     </dataset>
    </datasets>
    <input-events>
      <data-in name="input" dataset="logs">
         <instance>${startTime2}</instance>
      </data-in>
    </input-events>

    <action>
      <workflow>
         <app-path>${nameNode}/data1/cas/scenario/${scenarioNo}/sqoop</app-path>
         <configuration>
            <property>
                <name>jobTracker</name>
                <value>${jobTracker}</value>
            </property>
            <property>
                <name>nameNode</name>
                <value>${nameNode}</value>
            </property>
            <property>
                <name>queueName</name>
                <value>${queueName}</value>
            </property>
            <property>
                <name>wfInput</name>
                <value>${coord:dataIn('input')}</value>
            </property>
            <property>
                <name>iyear</name>
                <!-- <value>${coord:formatTime(coord:nominalTime(),"yyyy")}</value> -->
                <value>${coord:formatTime(coord:actualTime(),"yyyy")}</value>
            </property>
            <property>
                <name>imonth</name>
                <!-- <value>${coord:formatTime(coord:nominalTime(),"MM")}</value> -->
                <value>${coord:formatTime(coord:actualTime(),"MM")}</value>
            </property>
            <property>
                <name>iday</name>
                <!-- <value>${coord:formatTime(coord:nominalTime(),"dd")}</value> -->
                <value>${coord:formatTime(coord:actualTime(),"dd")}</value>
            </property>
          </configuration>
      </workflow>
    </action>
</coordinator-app>

번호 제목 글쓴이 날짜 조회 수
23 oozie의 meta정보를 mysql에서 관리하기 총관리자 2014.05.26 1466
22 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1292
21 oozie에서 share lib설정시 action type별로 구분하여 넣을것 총관리자 2014.04.18 1195
» 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 총관리자 2014.05.20 983
19 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 총관리자 2015.04.30 860
18 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 총관리자 2014.06.02 807
17 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 총관리자 2014.05.14 698
16 "File /user/hadoop/share/lib does not exist" 오류 해결방법 총관리자 2015.06.07 654
15 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 총관리자 2015.05.20 570
14 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 총관리자 2014.06.03 479
13 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 총관리자 2015.06.07 385
12 oozie WF에서 참고할만한 내용 총관리자 2019.07.18 168
11 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 총관리자 2020.06.05 133
10 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 총관리자 2020.05.11 61
9 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 총관리자 2022.05.13 36
8 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 총관리자 2022.05.02 25
7 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 총관리자 2022.04.28 24
6 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 gooper 2022.11.10 23
5 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 총관리자 2021.11.25 23
4 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 총관리자 2022.05.02 19

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로