메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. oozie를 compile하면 oozie-sharelib-4.1.0.tar.gz가 생성되는데 이 파일을 압축해제 하여 HDFS상에 등록해서 oozie job을 실행할때

   공통라이브러리로 사용하게 한다.


2. 압축풀기

  tar xvfz oozie-sharelib-4.1.0.tar.gz


3. sharelib HDFS에 등록 

  hadoop fs -put share /user/hadoop


4. oozie job만들때 job.properties에 아래와 같이 true로 지정해준다.

   두번째는 별도로 라이브러리를 지정해줄때 사용한다.

oozie.use.system.libpath=true

oozie.libpath=/user/hadoop/share/lib/hive


5. 위와 같이하면 "File /user/hadoop/share/lib does not exist"와 같은 오류가 발생하는데 이때는 oozie-site.mxl을 수정해준다.

  <property>

        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>

        <!-- value>*=hadoop-conf</value -->

        <value>*=/hadoop/hadoop/etc/hadoop/</value>

        <description>

            Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of

            the Hadoop service (JobTracker, HDFS). The wildcard '*' configuration is

            used when there is no exact match for an authority. The HADOOP_CONF_DIR contains

            the relevant Hadoop *-site.xml files. If the path is relative is looked within

            the Oozie configuration directory; though the path can be absolute (i.e. to point

            to Hadoop client conf/ directories in the local filesystem.

        </description>

    </property>


    <property>

        <name>oozie.service.WorkflowAppService.system.libpath</name>

        <!-- value>/user/${user.name}/share/lib</value -->

        <value>hdfs:///user/${user.name}/share/lib</value>

        <description>

            System library path to use for workflow applications.

            This path is added to workflow application if their job properties sets

            the property 'oozie.use.system.libpath' to true.

        </description>

    </property>


6. oozie 재기동

  oozied.sh restart

번호 제목 글쓴이 날짜 조회 수
141 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030
140 impala 설치/설정 총관리자 2016.06.03 1031
139 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 총관리자 2015.04.29 1047
138 Hive Query Examples from test code (1 of 2) 총관리자 2014.03.26 1050
137 external partition table생성및 data확인 총관리자 2014.04.03 1072
136 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 총관리자 2017.05.01 1081
135 Building a Cluster docs 총관리자 2014.04.22 1083
134 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 총관리자 2017.06.30 1083
133 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 총관리자 2018.09.14 1087
132 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 총관리자 2014.05.28 1088
131 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 총관리자 2018.01.16 1115
130 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 총관리자 2017.05.23 1119
129 로그 파일에 대해 Elasticsearch 사용하기 총관리자 2014.09.25 1121
128 sequence한 번호 생성방법 총관리자 2014.04.25 1123
127 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
126 json serde사용법 총관리자 2014.04.17 1140
125 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 총관리자 2014.09.25 1141
124 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 총관리자 2016.06.03 1141
123 build.gradle을 pom.xml로 변환하는 방법 총관리자 2016.08.18 1160
122 Mybatis foreach 문법정리(상황에 따른 사용법) 총관리자 2015.11.10 1170

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로