Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인
http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos
hadoop 2.5.2 소스컴파일하기
1. Hadoop 2.5.2 다운
2. JDK 설치 & 설정
- http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (v1.7 or v1.6 다운)
- tar xvf (jdk파일이름.tar.gz)
- mv (설치dri) /usr/local
- chmod 755 (설치경로)
- vi /etc/profile
- export JAVA_HOME=/usr/local/jdk이름
- export PATH=$PATH:$JAVA_HOME/bin
- which java 또는 java –version 으로 체크
- source /etc/profile
3. Hadoop 설치시 필요한 것
- Development Tools: 필요한 패키지 존재
- Additional Tools
- maven : Hadoop은 maven으로 설치
- cmake, libssl-dev : 하둡 설치 시 Common Lib 와 컴파일로 사용
- ssh : 하둡에서 ssh설정에 필요
4. Maven 설치 & 설정
- 다운 : http:.//mirror-apache-kr.org/maven
- tar xvf 메이븐파일.tar.gz
- ln –s /메이븐경로 /경로/maven (심볼릭 링크)
- vi /etc/profile 열기
- export M2_HOME=/usr/local/maven (( 이 경로에 설치했음 ))
- export PATH=$PATH:$M2_HOME/bin
- source /etc/profile
- mvn –version (확인하기)
5. cmake 설치
- yum install cmake (자동 설치)
6 . Development Tools & Additional Tools 설치
[root@master ~]# yum install gcc-c++
[root@master ~]# yum install zlib-devel
[root@master ~]# yum install libtool
[root@master ~]# yum install gzip
[root@master ~]# yum install patch
7. Proto buffer 설치
- 통신을 통해 데이터를 주고 받을 때 각종 데이터를 byte형태로 바꾸어준다. (Hadoop 컴파일시 2.5.0을 사용해야 하기 때문에 설치)
- mk tools
- cd tools
- /tools# wget http://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
- tar –zxvf protobuf-2.5.0.tar.gz
- cd protobuf-2.5.0
- ./configure
- make
- make install
8 . Hadoop Compile
- 소스 컴파일 용 tar 다운
- /tools# wget http://mirror-apache-kr.org/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz
- tar xfz Hadoop-2.5.2-src.tar.gz
* 아래 패치는 2.2.0의 경우이며 2.5.2는 생략해야함..
( -> Hadoop Auth 에러 패치용
- tools/Hadoop-2.5.2-src$ wget http://issues.apache.org/jira/secure/attachment/12614482/HADOOP-10110.patch
- patch –p0 < HADOOP-10110.patch
)
- > Hadoop Compile 작업
- mvn package –Pdist,native –DskipTests –Dtar
* Hadoop Compile할때 방법으로 하면 test과정에서 오류가 발생할 수가 있으므로..
[root@master hadoop-2.5.2-src]# mvn clean install -DskipTests