메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos


hadoop 2.5.2 소스컴파일하기


1. Hadoop 2.5.2 다운


2. JDK 설치 & 설정

-  http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (v1.7 or v1.6 다운)

-  tar xvf (jdk파일이름.tar.gz)

-  mv (설치dri) /usr/local

-  chmod 755 (설치경로)

-  vi /etc/profile

-  export JAVA_HOME=/usr/local/jdk이름

-  export PATH=$PATH:$JAVA_HOME/bin

-  which java 또는 java –version 으로 체크

-  source /etc/profile

 

3. Hadoop 설치시 필요한 것

-  Development Tools: 필요한 패키지 존재

-  Additional Tools

-  maven : Hadoop은 maven으로 설치

-  cmake, libssl-dev : 하둡 설치 시 Common Lib 와 컴파일로 사용

-  ssh : 하둡에서 ssh설정에 필요

  

4. Maven 설치 & 설정


-  다운 : http:.//mirror-apache-kr.org/maven

-  tar xvf 메이븐파일.tar.gz

-  ln –s /메이븐경로 /경로/maven  (심볼릭 링크)

-  vi /etc/profile 열기

-  export M2_HOME=/usr/local/maven (( 이 경로에 설치했음 ))

-  export PATH=$PATH:$M2_HOME/bin

-  source /etc/profile

-  mvn –version (확인하기)

 

5. cmake 설치

-  yum install cmake (자동 설치)

 

6 . Development Tools & Additional Tools 설치

[root@master ~]# yum install gcc-c++

[root@master ~]# yum install zlib-devel

[root@master ~]# yum install libtool

[root@master ~]# yum install gzip

[root@master ~]# yum install patch

 

7. Proto buffer 설치

-  통신을 통해 데이터를 주고 받을 때 각종 데이터를 byte형태로 바꾸어준다. (Hadoop 컴파일시 2.5.0을 사용해야 하기 때문에 설치)

-  mk tools

-  cd tools

-  /tools#  wget http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

-  tar –zxvf protobuf-2.5.0.tar.gz

-  cd protobuf-2.5.0

-  ./configure

-  make

-  make install

 

8 . Hadoop Compile

-  소스 컴파일 용 tar 다운

-  /tools#  wget http://mirror-apache-kr.org/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz

-  tar xfz Hadoop-2.5.2-src.tar.gz


* 아래 패치는 2.2.0의 경우이며 2.5.2는 생략해야함..

(  -> Hadoop Auth 에러 패치용

   -  tools/Hadoop-2.5.2-src$  wget http://issues.apache.org/jira/secure/attachment/12614482/HADOOP-10110.patch 

   -  patch –p0 < HADOOP-10110.patch

)

-  > Hadoop Compile 작업

-  mvn package –Pdist,native –DskipTests –Dtar


* Hadoop Compile할때 방법으로 하면 test과정에서 오류가 발생할 수가 있으므로.. 

  [root@master hadoop-2.5.2-src]# mvn clean install -DskipTests

번호 제목 글쓴이 날짜 조회 수
177 CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. 총관리자 2016.03.14 228
176 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
175 System Properties Comparison Elasticsearch vs. Hive vs. Jena file 총관리자 2016.03.10 285
174 TopBraid Composer에서 SPIN 사용법 file 총관리자 2016.02.25 104
173 SPIN(SPARQL Inference Notation)이란.. file 총관리자 2016.02.25 73
172 SPARQL의 유형, SPARQL 만들기등에 대한 설명 총관리자 2016.02.18 274
171 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 총관리자 2016.02.05 119
170 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 ""로 하고 ?a!=?b 인경우는 해당값을 가지는 결과 집합을 구하는 경우 file 총관리자 2016.01.29 144
169 ?a는 모두 표시하면서 ?b와 비교하여 ?a=?b는 표시하고 ?a!=?b 인경우는 ""로 구성된 결과 집합을 구하는 경우 file 총관리자 2016.01.29 255
168 null 혹은 ""를 체크하는 방법 총관리자 2016.01.27 160
167 sparql 1.1 BIND(if() as ?bind변수) 버그로 추정되는 문제점및 해결방안 -> select 문에 (if(,,) as ?bind변수) file 총관리자 2016.01.21 257
166 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 158
165 한번에 여러값 update하기 총관리자 2016.01.13 134
164 문자열을 숫자(integer)로 casting하기 총관리자 2016.01.13 175
163 update(update와 delete->insert)사용시 주의/참고사항 총관리자 2016.01.06 146
162 fuseki에 update하는 방법(java api이용)및 주의 사항 총관리자 2015.12.30 258
161 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 총관리자 2015.12.22 145
160 console명령과 API비교 총관리자 2015.12.21 120
159 java quartz 시간 설정 참고사항 총관리자 2015.12.16 179
158 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 총관리자 2015.12.16 147

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로