메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


oozie Oozie 설치, 환경설정 및 테스트

총관리자 2014.04.08 16:47 조회 수 : 1293

Oozie 설치, 환경설정 및 테스트
1. Oozie를 다운받아 압축을 푼다.

mkdir build
cd build #빌드해야되므로 따로 공간을 만든다.
wget http://mirror.apache-kr.org/oozie/3.3.2/oozie-3.3.2.tar.gz
tar zxvf oozie-3.3.2.tar.gz

2. Oozie 빌드

cd ~/build/oozie-3.3.2/bin
./mkdistro.sh -DskipTests

3. Oozie 설치

cp ~/build/oozie-3.3.2/distro/target/oozie-3.3.2-distro.tar.gz ~
cd ~
tar zxvf oozie-3.3.2-distro.tar.gz
mkdir ~/oozie-3.3.2/libext

4. Oozie 환경변수 설정

vi .bash_profile
export OOZIE_HOME=/home/bigdata/oozie-3.3.2
export PATH=$PATH:$OOZIE_HOME/bin

5. 라이브러리 세팅

cp ~/hadoop-1.2.1/lib/*.jar ~/oozie-3.3.2/libext
cp ~/hadoop-1.2.1/*.jar ~/oozie-3.3.2/libext
cd ~/oozie-3.3.2/libext
wget http://extjs.com/deploy/ext-2.2.zip

6. Oozie configuration

cd $OOZIE_HOME
bin/oozie-setup.sh prepare-war -extjs ./libext/ext-2.2.zip

INFO: Oozie is ready to be started

bin/ooziedb.sh create -sqlfile oozie.sql -run

Oozie DB has been created for Oozie version '3.3.2'
The SQL commands have been written to: oozie.sql

7. 테스트

1) hadoop에 oozie example 적재
cd $OOZIE_HOME
tar zxvf oozie-examples.tar.gz
hadoop fs -put examples examples

2) example 프로퍼티 파일에 hadoop Namenode와 jobtracker 정보 설정
vi examples/apps/map-reduce/job.properties
nameNode=hdfs://localhost:9000 #디폴트로 설정된 포트가 다르므로 주의
jobTracker=localhost:9001 #디폴트로 설정된 포트가 다르므로 주의
:wq

3) hadoop 설정파일에 oozie 프록시 설정
cd ~/hadoop-1.2.1/conf
vi core-site.xml

< property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.hosts -->
<value>localhost</value>
< /property>

< property>
<name>hadoop.proxyuser.bigdata.groups</name>
<!-- hadoop.proxyuser.{oozie 실행계정}.groups -->
<value>bigdata</value> <!-- oozie 실행계정 그룹 -->
< /property>

4) hadoop 기동
start-all.sh

5) oozie 기동
oozie-start.sh

6) example실행
cd $OOZIE_HOME
oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

7) 확인
콘솔 : http://localhost:11000/oozie
프롬프트 : oozie jobs -oozie http://localhost:11000/oozie
oozie job -oozie http://localhost:11000/oozie -info {Job ID}
번호 제목 글쓴이 날짜 조회 수
121 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 gooper 2023.11.30 51
120 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용하여 repository에 CRUD테스트 총관리자 2017.08.30 51
119 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 51
118 파일명 혹은 확장자 일괄 변경하는 방법 총관리자 2017.01.26 51
117 S2RDF를 이용한 다른 버젼의 github링크 총관리자 2016.12.02 51
116 spark 온라인 책자링크 (제목 : mastering-apache-spark) 총관리자 2016.05.25 51
115 lombok설치방법 총관리자 2020.06.20 49
114 Cloudera Manager 5.x설치시 embedded postgresql를 사용하는 경우의 관리정보 총관리자 2018.04.13 49
113 [oneM2M]Ontologies used for oneM2M 총관리자 2017.08.02 49
112 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 총관리자 2016.08.09 49
111 워킹 메모리에 대한 정보를 처리하는 클래스 파일 총관리자 2016.07.21 49
110 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 총관리자 2022.05.13 48
109 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 총관리자 2022.04.01 48
108 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 총관리자 2016.06.02 48
107 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 총관리자 2022.03.21 47
106 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 총관리자 2022.04.14 46
105 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 총관리자 2017.08.30 46
104 halyard의 console스크립트에서 생성한 repository는 RDF4J Web Applications에서 공유가 되지 않는다. 총관리자 2017.07.05 46
103 webid에서 google처럼 검색할 수 있도록 하는 프로그램 총관리자 2017.05.16 46
102 you are accessing a non-optimized hue please switch to one of the available addresses 총관리자 2021.10.06 45

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로