메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. 서버준비(5대, CentOS설치,  Jdk설치)(root로 실행)


2. SSH설정(root로 실행)

가. [root@sda1 ~]# ssh-keygen -t rsa -P ""

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): 

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

69:08:3e:f2:60:6f:29:90:a9:64:e5:7a:d8:9f:11:5c root@sda1

The key's randomart image is:

+--[ RSA 2048]----+

|                 |

|                 |

|   ..  E         |

| oo..... .       |

|+o+.oo. S        |

|+o+= o..         |

|.o.o=.           |

|  .o. o          |

|     o           |

+-----------------+

나. /root/.ssh/에 id_rsa.pub이 생성됨, "cat id_rsa.pub >> authorized_keys"를 실행해서 파일을 만들어 주고

    각 서버에 authorized_keys를 복사해준다.

     ==> [root@sda1 .ssh]# cat id_rsa.pub >> authorized_keys

     ==> [root@sda1 .ssh]# scp -P 22 /root/.ssh/authorized_keys root@sda2:/root/.ssh/authorized_keys에서 호스트이          름만 바꿔서 각 서버에 복사해준다.

      * master에서 생성하고 authorized_keys를 각서버에 복사해주면 node1~node4는 패스워드를 묻지 않고 master의 접속을 받아 들이게 된다.

              (상호 접근이 가능하도록 하려면 모든 서버에서 ssh-keygen을 실행후 각각의 서버에 생성된 authorized_keys 의 내용을 모아서 

               각서버의 authorized_keys 에 추가해준다.)


3. /etc/hosts파일 수정및 5개 서버에 복사/배포(root로 실행)

   scp -P 22 /etc/hosts root@sda1:/etc/hosts

   scp -P 22 /etc/hosts root@sda2:/etc/hosts

   scp -P 22 /etc/hosts root@so1:/etc/hosts

   scp -P 22 /etc/hosts root@so2:/etc/hosts

   scp -P 22 /etc/hosts root@so-db2:/etc/hosts


4. hadoop계정 생성(모든 서버에서 수행해줌, root로 실행)

  가. adduser hadoop

  나. passwd hadoop 


5. /etc/profile수정(모든 서버에서 수행해줌, root로 수정)

가. [root@sda1 ~]# vi /etc/profile


export JAVA_HOME=/opt/jdk1.8.0_66

export PATH="$JAVA_HOME/bin:$PATH"

export CLASSPATH=".:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar"

export CATALINA_OPTS="Djava.awt.headless=true"

나. 변경내용 반영(각서버에서 모두 실행해줌) : [root@sda1 ~]# source /etc/profile


6. YARN설치(root로 수행)

  가. 설치할 폴더로 생성및 이동 : mkdir /svc/apps/sda/bin/hadoop

  나. jar파일 다운로드 : 

     [root@sda1 hadoop]# wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

  다. 압축풀어서 링크생성

   ==> [root@sda1 hadoop]# tar xvfz hadoop-2.7.2.tar.gz

   ==> [root@sda1 hadoop]# ln -s hadoop-2.7.2 hadoop


7. /etc/profile수정(root로 수행)후 각 서버에 scp한후 각 서버에서 "source /etc/profile"로 반영시켜준다.


#java Setting

export JAVA_HOME=/opt/jdk1.8.0_66

export PATH="$JAVA_HOME/bin:$PATH"

export CLASSPATH=".:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar"

export CATALINA_OPTS="Djava.awt.headless=true"


# Hadoop Path

export HOME=/svc/apps/sda/bin/hadoop
export HADOOP_PREFIX=$HOME/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_HOME=$HOME/hadoop
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
export HADOOP_YARN_HOME=${HADOOP_PREFIX}
export HADOOP_CONF_DIR=${HADOOP_PREFIX}/etc/hadoop

# Native Path
export HADOOP_COMMON_LIB_NATIVE_DIR=${YARN_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$YARN_HOME/lib"


8. 필요한 경로 생성(서버모두 실행, root로 실행)

* mkdir /data, /logs 두개만 만들고 각 데몬을 띄위면 각 데몬에서 필요한 경로및 파일을 만든다


----------------------파일관련 경로 지정(참고)------------------------

가. etc/hadoop/hdfs-site.xml

 - dfs.namenode.name.dir : /data/hadoop/dfs/namenode

 - dfs.namenode.checkpoint.dir : /data/hadoop/dfs/checkpoint

 - dfs.datanode.data.dir : /data/hadoop/dfs/datanode

 - dfs.journalnode.edits.dir : /data/hadoop/dfs/journal/data


나. etc/hadoop/core-site.xml

 - hadoop.tmp.dir : /data/hadoop/tmp


다. etc/hadoop/mapreduce-site.xml

 - mapred.system.dir : /data/hadoop/mapred/system

 - mapred.local.dir : /data/hadoop/mapred/local

 - mapreduce.jobtracker.staging.root.dir : /data/hadoop/tmp/staging


라. etc/hadoop/yarn-site.xml

 - 파일경로 지정없음


(파일 경로 생성 명령문 - hadoop관련 데몬이 실행되면서 자동으로 생성되지 않는 경우 개별 생성해줄것)

root@sda1:/hadoop/mapred:> mkdir /data/hadoop

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/tmp

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/tmp/staging


root@sda1:/hadoop/mapred:> mkdir /data/hadoop/mapred

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/mapred/system

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/mapred/local


root@sda1:/hadoop/mapred:> mkdir /data/hadoop/dfs

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/dfs/namenode

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/dfs/checkpoint

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/dfs/datanode


root@sda1:/hadoop/mapred:> mkdir /data/hadoop/journal

root@sda1:/hadoop/mapred:> mkdir /data/hadoop/journal/data


9. 설정파일 수정(master에서 수정후 나머지는 scp명령으로 복사한다, root로 실행)

가. hdfs-site.xml

나. yarn-site.xml

다. mapred-site.xml

라. core-site.xml

마. hadoop-env.sh, yarn-env.sh: JAVA_HOME값 및 log경로 저장 


바. hadoop-env.sh(아래 환견경수 추가)

(export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="${HADOOP_OPTS} -Djava.library.path=$HADOOP_PREFIX/lib"

#export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hadoop/share/hadoop/mapreduce:/hadoop/hadoop/share/hadoop/mapreduce/lib:$HIVE_HOME/lib:$HIVE_HOME/conf

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/svc/apps/sda/bin/hadoop/hadoop/share/hadoop/mapreduce:/svc/apps/sda/bin/hadoop/hadoop/share/hadoop/mapreduce/lib:$HIVE_HOME/lib:$HIVE_HOME/conf

#export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hadoop-2.5.2/share/hadoop/common/postgresql-9.3-1103.jdbc4.jar

)


* hadoop-env.sh에서 HADOOP_LOG_DIR값을 log파일이 저장될 경로로 지정한다.

#export HADOOP_LOG_DIR=${HADOOP_LOG_DIR}/$USER

export HADOOP_LOG_DIR=/logs/hadoop


* yarn-env.sh에서 YARN_LOG_DIR값을 지정하여 log파일이 저장될 경로로 지정한다.

export YARN_LOG_DIR=/logs/hadoop


사. slaves

아. masters


10. 각 서버에 복사(root로 실행)

root@sda1:~:> scp -r -P 22 hadoop-2.7.2 root@sda2:/svc/apps/sda/bin/hadoop


11. namenode포맷

root@sda1:~:> hdfs namenode -format


12. zookeeper설치/기동

https://www.gooper.com/ss/index.php?mid=bigdata&category=2779&document_srl=3016


13. zkfc포맷

root@sda1:~:> hdfs zkfc -formatZK 

14. hadoop cluster 기동

https://www.gooper.com/ss/index.php?mid=bigdata&category=2789&document_srl=3021

번호 제목 글쓴이 날짜 조회 수
581 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 총관리자 2015.04.30 862
580 Impala의 Queries탭에서 여러조건으로 쿼리 찾기 총관리자 2018.05.09 860
579 ubuntu에 maven 3.6.1설치 및 환경변수 설정 총관리자 2019.06.02 856
578 [SBT] SBT 사용법 정리(링크) 총관리자 2016.08.04 840
577 Hive JDBC Connection과 유형별 에러및 필요한 jar파일 총관리자 2021.05.24 834
576 dual table만들기 총관리자 2014.05.16 825
575 [Mybatis]Spring과 연동하지 않고 Java+Mybatis 형태의 프로그램 샘플소스 총관리자 2016.09.01 814
574 [shellscript]엑셀파일에서 여러줄에 존재하는 단어를 한줄의 문자열로 합치는 방법(comma로 구분) 총관리자 2019.07.15 811
573 hive query에서 mapreduce돌리지 않고 select하는 방법 총관리자 2014.05.23 811
572 update 샘플 총관리자 2018.03.12 810
571 oozie job 구동시 JA009: User: hadoop is not allowed to impersonate hadoop 오류나는 경우 총관리자 2014.06.02 807
570 sentry설정 방법및 활성화시 설정이 필요한 파일및 설정값, 계정생성 방법 총관리자 2018.08.16 779
569 mongodb aggregation query를 Java code로 변환한 샘플 총관리자 2016.12.15 777
568 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 총관리자 2017.07.04 765
567 oracle to hive data type정리표 총관리자 2018.08.22 764
566 [Kerberos]Kerberos상태의 클러스터에 JDBC로 접근할때 케이스별 오류내용 총관리자 2020.02.14 763
565 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 총관리자 2016.06.03 760
564 [DBeaver 4.3.0]import/export시 "Client home is not specified for connection" 오류발생시 조치사항 총관리자 2017.12.21 753
563 Cloudera Manager web UI의 언어를 한글에서 영문으로 변경하기 총관리자 2018.04.03 743
562 hive metastore ERD file 총관리자 2018.09.20 731

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로