메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


share/lib/pig/*
share/lib/streaming/*
share/lib/hive/*
share/lib/sqoop/*

 

oozie가 수행될때 action type별로 필요로 하는 jars들이 다르므로 각각의 폴더를 위에 처럼 구성하고 그 밑에 각각의 lib/*.* 넣는다.

hadoop fs -put lib/*.* /user/hadoop/share/lib/hive명령으로 넣고 job.properties에서 아래 부분을 추가하여 사용함

(그래야 동일한 jar가 각각의 jar버젼에 따르는 문제를 발생시키지 않게 됨)

oozie.use.system.libpath=true
oozie.libpath=${nameNode}/user/hadoop/share/lib/hive

-------------------------------------------------------------------------------------------------------------

 

예를 들어 hive action인경우..

1. hadoop@bigdata-host:~/hive/lib$ hadoop fs -mkdir share/lib/hive

2. cd /home/hadoop/hive/lib
2. hadoop@bigdata-host:~/hive/lib$ hadoop fs -put *.* share/lib/hive

 

 

-------------------------------------------oozie-site.xml-----------------------------------------------------------------

 <property>
        <name>oozie.service.WorkflowAppService.system.libpath</name>
        <value>/user/${user.name}/share/lib</value>
        <description>
            System library path to use for workflow applications.
            This path is added to workflow application if their job properties sets
            the property 'oozie.use.system.libpath' to true.
        </description>
    </property>
 

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로