메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop에서 Discommission시킨 노드를 ./conf/regionservers에서 제거하고 HBase를 restart했는데 Dead regionserver 목록에 표시되면서 HBase의 전반적인 성능에 악영향을 주는 경우가 있는데 이는 HDFS상에 있는 HBase의 dead regionserver가 여전히 WAL(보통 /hbase/WALs)에 존재하기 때문이다.

이때는 HDFS상에 존재하는 dead regionserver의 정보를 삭제해주면 된다.


1. HDFS상의 WALs목록을 확인한다.

hdfs dfs -ls /hbase/WALs

->

drwxr-xr-x   - root supergroup          0 2017-07-18 18:02 /hbase/WALs/gsda9,16020,1500283210109


2. 해당 폴더를 삭제한다.

hdfs dfs -rm -R /hbase/WALs/gsda9,16020,1500283210109


3. HBase를 재기동한다.

./bin/stop-hbase.sh

./bin/start-hbase.sh

번호 제목 날짜 조회 수
110 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 2013.03.15 5306
109 HBase, BigTable, Cassandra Schema Design file 2013.03.15 5298
108 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 2017.07.26 5201
107 HBase 설치하기 – Pseudo-distributed file 2013.03.12 5095
106 Master rejected startup because clock is out of sync 오류 해결방법 2016.05.03 5075
105 hadoop cluster에 포함된 노드중에서 문제있는 decommission하는 방법및 절차 file 2017.12.28 5060
104 Mysql DB 생성 및 권한. 특정아이피, 대역에 대한 접근 허용 2017.05.04 5059
103 scan의 startrow, stoprow지정하는 방법 2015.04.08 4972
102 W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 2020.05.08 4968
101 hadoop설치시 오류 2013.12.18 4968
100 hbase shell에서 컬럼값 검색하기(SingleColumnValueFilter이용) 2014.04.25 4964
99 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 2017.11.14 4946
98 메이븐 (maven) 설치 및 이클립스 연동하기 file 2013.03.06 4944
97 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 4907
96 Cacti로 Hadoop 모니터링 하기 file 2013.03.12 4902
95 [JSON 파싱]mongodb의 document를 GSON을 이용하여 parsing할때 ObjectId값에서 오류 발생시 조치방법 2017.01.18 4870
94 hadoop설치시 참고사항 2013.03.08 4849
93 hadoop 클러스터 실행 스크립트 정리 2018.03.20 4817
92 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 2017.06.30 4815
91 update 샘플 2018.03.12 4813
위로