메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


share/lib/pig/*
share/lib/streaming/*
share/lib/hive/*
share/lib/sqoop/*

 

oozie가 수행될때 action type별로 필요로 하는 jars들이 다르므로 각각의 폴더를 위에 처럼 구성하고 그 밑에 각각의 lib/*.* 넣는다.

hadoop fs -put lib/*.* /user/hadoop/share/lib/hive명령으로 넣고 job.properties에서 아래 부분을 추가하여 사용함

(그래야 동일한 jar가 각각의 jar버젼에 따르는 문제를 발생시키지 않게 됨)

oozie.use.system.libpath=true
oozie.libpath=${nameNode}/user/hadoop/share/lib/hive

-------------------------------------------------------------------------------------------------------------

 

예를 들어 hive action인경우..

1. hadoop@bigdata-host:~/hive/lib$ hadoop fs -mkdir share/lib/hive

2. cd /home/hadoop/hive/lib
2. hadoop@bigdata-host:~/hive/lib$ hadoop fs -put *.* share/lib/hive

 

 

-------------------------------------------oozie-site.xml-----------------------------------------------------------------

 <property>
        <name>oozie.service.WorkflowAppService.system.libpath</name>
        <value>/user/${user.name}/share/lib</value>
        <description>
            System library path to use for workflow applications.
            This path is added to workflow application if their job properties sets
            the property 'oozie.use.system.libpath' to true.
        </description>
    </property>
 

번호 제목 글쓴이 날짜 조회 수
» oozie에서 share lib설정시 action type별로 구분하여 넣을것 총관리자 2014.04.18 1195
120 [kubernetes]우분투 Kubernetes 설치 방법 file 총관리자 2019.07.24 1205
119 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 총관리자 2018.06.28 1207
118 zookeeper 3.4.6 설치(3대) 총관리자 2015.04.28 1210
117 json 값 다루기 총관리자 2014.04.17 1222
116 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 총관리자 2018.07.03 1222
115 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 총관리자 2016.09.25 1226
114 거침없이 배우는 Drools 책의 샘플소스 file 총관리자 2016.07.22 1232
113 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 총관리자 2014.04.23 1261
112 The disk drive for uuid= is not ready yet or not present 오류 해결방법 총관리자 2014.04.21 1265
111 자주쓰는 유용한 프로그램 총관리자 2018.03.16 1268
110 solr vs elasticsearch 비교2 총관리자 2014.09.29 1276
109 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 총관리자 2016.07.08 1281
108 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1293
107 lagom-linux용 build.sbt파일 내용 총관리자 2017.10.12 1300
106 우분투 root 패스워드 설정하기 구퍼 2013.03.04 1314
105 ExWordCount jar파일 file 구퍼 2013.03.06 1336
104 crypto관련 기생충 박멸 스크립트 총관리자 2018.05.11 1340
103 [ftgo_application]Unable to infer base url오류 발생시 조치방법 gooper 2023.02.20 1377
102 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 총관리자 2015.05.21 1415

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로