Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
share/lib/pig/*
share/lib/streaming/*
share/lib/hive/*
share/lib/sqoop/*
oozie가 수행될때 action type별로 필요로 하는 jars들이 다르므로 각각의 폴더를 위에 처럼 구성하고 그 밑에 각각의 lib/*.* 넣는다.
hadoop fs -put lib/*.* /user/hadoop/share/lib/hive명령으로 넣고 job.properties에서 아래 부분을 추가하여 사용함
(그래야 동일한 jar가 각각의 jar버젼에 따르는 문제를 발생시키지 않게 됨)
oozie.use.system.libpath=true
oozie.libpath=${nameNode}/user/hadoop/share/lib/hive
-------------------------------------------------------------------------------------------------------------
예를 들어 hive action인경우..
1. hadoop@bigdata-host:~/hive/lib$ hadoop fs -mkdir share/lib/hive
2. cd /home/hadoop/hive/lib
2. hadoop@bigdata-host:~/hive/lib$ hadoop fs -put *.* share/lib/hive
-------------------------------------------oozie-site.xml-----------------------------------------------------------------
<property>
<name>oozie.service.WorkflowAppService.system.libpath</name>
<value>/user/${user.name}/share/lib</value>
<description>
System library path to use for workflow applications.
This path is added to workflow application if their job properties sets
the property 'oozie.use.system.libpath' to true.
</description>
</property>
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
3 | [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 | gooper | 2023.01.17 | 17 |
2 | [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 | 총관리자 | 2022.03.23 | 16 |
1 | oozie의 sqoop action수행시 ooize:launcher의 applicationId를 이용하여 oozie:action의 applicationId및 관련 로그를 찾는 방법 | gooper | 2023.07.26 | 10 |