메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


share/lib/pig/*
share/lib/streaming/*
share/lib/hive/*
share/lib/sqoop/*

 

oozie가 수행될때 action type별로 필요로 하는 jars들이 다르므로 각각의 폴더를 위에 처럼 구성하고 그 밑에 각각의 lib/*.* 넣는다.

hadoop fs -put lib/*.* /user/hadoop/share/lib/hive명령으로 넣고 job.properties에서 아래 부분을 추가하여 사용함

(그래야 동일한 jar가 각각의 jar버젼에 따르는 문제를 발생시키지 않게 됨)

oozie.use.system.libpath=true
oozie.libpath=${nameNode}/user/hadoop/share/lib/hive

-------------------------------------------------------------------------------------------------------------

 

예를 들어 hive action인경우..

1. hadoop@bigdata-host:~/hive/lib$ hadoop fs -mkdir share/lib/hive

2. cd /home/hadoop/hive/lib
2. hadoop@bigdata-host:~/hive/lib$ hadoop fs -put *.* share/lib/hive

 

 

-------------------------------------------oozie-site.xml-----------------------------------------------------------------

 <property>
        <name>oozie.service.WorkflowAppService.system.libpath</name>
        <value>/user/${user.name}/share/lib</value>
        <description>
            System library path to use for workflow applications.
            This path is added to workflow application if their job properties sets
            the property 'oozie.use.system.libpath' to true.
        </description>
    </property>
 

번호 제목 글쓴이 날짜 조회 수
419 Hive java connection 설정 file 구퍼 2013.04.01 2013
418 hbase에 필요한 jar들 구퍼 2013.04.01 2100
417 hadoop설치시 오류 총관리자 2013.12.18 2313
416 Hive Query Examples from test code (1 of 2) 총관리자 2014.03.26 1050
415 Hive Query Examples from test code (2 of 2) 총관리자 2014.03.26 5013
414 의사분산모드에서 presto설치하기 총관리자 2014.03.31 3050
413 동일서버에서 LA와 LC동시에 기동하여 테스트 총관리자 2014.04.01 928
412 external partition table생성및 data확인 총관리자 2014.04.03 1072
411 다수의 로그 에이전트로 부터 로그를 받아 각각의 파일로 저장하는 방법(interceptor및 multiplexing) 총관리자 2014.04.04 4089
410 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1292
409 hive에서 생성된 external table에서 hbase의 table에 값 insert하기 총관리자 2014.04.11 1748
408 column family삭제시 Column family 'delete' does not exist오류 발생하는 경우 총관리자 2014.04.14 932
407 json 값 다루기 총관리자 2014.04.17 1222
406 json serde사용법 총관리자 2014.04.17 1140
» oozie에서 share lib설정시 action type별로 구분하여 넣을것 총관리자 2014.04.18 1195
404 sqoop 1.4.4 설치및 테스트 총관리자 2014.04.21 3134
403 sequence한 번호 생성방법 총관리자 2014.04.25 1123
402 unique한 값 생성 총관리자 2014.04.25 888
401 hbase shell에서 컬럼값 검색하기(SingleColumnValueFilter이용) 총관리자 2014.04.25 2448
400 index생성, 삭제, 활용 총관리자 2014.04.25 1702

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로