메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


oozie oozie WF에서 참고할만한 내용

총관리자 2019.07.18 16:11 조회 수 : 168

1. shell script에서 아래와 같이 echo 문장으로 값을 출력하고 ${wf.actionData('shell-9d51").table_name 형태로 값을 추출하여 사용할 수 있다.

(shell-9d51은 shellscript action을 만들면 oozie가 자동부여하는 값임)


shellscript파일이 echo "table_name"${table_name} 처럼 값을 출력하는 문장을 가지고 있어야함


2. 코디네이터에서 지정하는 날짜 변수(nominalTime으로 2019년 5얼 6일 수행한 경우)

${coord:formatTime(coord:dateOffset(coord:dateTzOffset(coord:nominalTime(),'Asia/Seoul'), -1, 'DAY'), 'yyyy-MM-dd')} => 2019-05-05

${coord:formatTime(coord:dateOffset(coord:nominalTime(),'Asia/Seoul'),'yyyy-MM-dd')} ==> 2019-05-06


3. ${wf.id()}, ${wf.name()}, ${wf.actionExternalId('sqoop-8e43')}, ${wf.actionExternalStatus('sqoop-8e43')} 형태의 구문으로 필요한 값을 추출할수 있다.



번호 제목 글쓴이 날짜 조회 수
23 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1292
22 oozie에서 share lib설정시 action type별로 구분하여 넣을것 총관리자 2014.04.18 1195
21 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 총관리자 2014.05.14 699
20 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 총관리자 2014.05.20 984
19 oozie의 meta정보를 mysql에서 관리하기 총관리자 2014.05.26 1466
18 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 총관리자 2014.06.02 807
17 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 총관리자 2014.06.03 479
16 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 총관리자 2015.04.30 861
15 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 총관리자 2015.05.20 573
14 Error: E0501 : E0501: Could not perform authorization operation, User: hadoop is not allowed to impersonate hadoop 해결하는 방법 총관리자 2015.06.07 385
13 "File /user/hadoop/share/lib does not exist" 오류 해결방법 총관리자 2015.06.07 655
» oozie WF에서 참고할만한 내용 총관리자 2019.07.18 168
11 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 총관리자 2020.05.11 62
10 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 총관리자 2020.06.05 133
9 클러스터내의 전체 workflow및 coordinator현황을 사용자별로 추출하는 방법 총관리자 2021.11.25 25
8 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 총관리자 2022.03.23 16
7 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 총관리자 2022.04.28 27
6 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 총관리자 2022.05.02 19
5 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 총관리자 2022.05.02 26
4 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 총관리자 2022.05.13 36

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로