메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hbase HBase 설치하기 – Fully-distributed

구퍼 2013.03.12 15:19 조회 수 : 4889

HBase 설치하기 – Fully-distributed

이번엔 Fully-distributed 모드로 설치를 해보자.
일전에 HBase 설치하기 – Pseudo-distributed 의 설정이 되어있다는 가정이다.
여기에서 추가/변경되는 부분만 설명한다.

또한, 주키퍼는 주키퍼(ZooKeeper) 설치하기 에서처럼
192.168.0.1, 192.168.0.2, 192.168.0.3 인 서버 3군데로 확장되어있다고 하자.

HBase는 Master서버(HMaster)와 Region서버(HRegionServer)를 아래처럼 구성한다.
Master 서버 : 192.168.0.101
Region 서버 : 192.168.0.102, 192.168.0.103

HBase 설치하기 – Pseudo-distributed 에서 설치했던 서버를 Master 로 사용하자.

# cd /usr/local/src

먼저 hbase-site.xml 를 수정한다.

# vi conf/hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.0.101:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.0.1,192.168.0.2,192.168.0.3</value>
</property>
</configuration>

이제 hbase-env.sh 을 수정하자
HBASE_MANAGES_ZK 를 true로 하면, HBase가 Zookeeper를 기동/중지시키게 되는데
이럴 경우 하나의 Zookeeper만 사용할 수 있으므로, 여러 Zookeeper로 분산된 경우에는 false로 한다.

# vi conf/hbase-env.sh

# Tell HBase whether it should manage it’s own instance of Zookeeper or not.
# export HBASE_MANAGES_ZK=true
export HBASE_MANAGES_ZK=false

다음으로, RegionServer 로 사용될 서버 정보들만 regionservers 에 등록한다.
Master서버는 등록하지 않는다. 기본적으로는 localhost 가 등록되어있다.

# vi conf/regionservers

192.168.0.102
192.168.0.103

이제, 설정이 모두 끝났다. 설정을 다른 서버로 복사하자.

특별히 분산 설치를 위한 작업이 있는 것은 아니고,
conf 디렉토리 아래 설정파일들을 나머지 Region 서버에도 그대로 복사하면 해준다.

최초 서버 구성이라면, 폴더를 그대로 다 복사하고.

# rsync -av . root@192.168.0.101:/usr/local/hbase/

추후에 추가 구성을 하는 경우라면 설정파일만 복사하자.

# rsync -av ./conf/ root@192.168.0.101:/usr/local/hbase/conf/

HBase 구동은 Master 서버에서만 HBase를 가동하면 된다.

# bin/start-hbase.sh

번호 제목 날짜 조회 수
70 hadoop및 ecosystem에서 사용되는 명령문 정리 2014.05.28 5127
69 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 3842
68 oozie의 meta정보를 mysql에서 관리하기 2014.05.26 2973
67 hive query에서 mapreduce돌리지 않고 select하는 방법 2014.05.23 2968
66 hiverserver2기동시 connection refused가 발생하는 경우 조치방법 2014.05.22 3326
65 import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by "x01"와 같이 지정해야함 2014.05.20 5456
64 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 2014.05.20 2199
63 source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 2014.05.20 3078
62 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) 2014.05.20 3521
61 dual table만들기 2014.05.16 2815
60 sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것 2014.05.15 2672
59 sqoop export/import등을 할때 driver를 못찾는 오류가 발생하면... 2014.05.15 3160
58 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 3198
57 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 2014.05.09 3040
56 ping 안될때.. networking restart 날려주면 잘됨.. 2014.05.09 4132
55 insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 2014.04.29 8253
54 빅데이터 분석을 위한 샘플 빅데이터 파일 다운로드 사이트 2014.04.28 4198
53 index생성, 삭제, 활용 2014.04.25 2874
52 hbase shell에서 컬럼값 검색하기(SingleColumnValueFilter이용) 2014.04.25 3699
51 unique한 값 생성 2014.04.25 3081
위로