메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.


1. 폴더 사용용량을 확인한다.

  du -h --max-depth=1로 폴더별 사용량을 확인한다.


2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.

   (주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을

    삭제하여준다.)


  cat /dev/null > aaa.log  (aaa.log파일에 내용만 지우는 방법)


* 참고 : 각 서버의 HDD사용용량(예시)

----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K    ./lost+found
317M    ./data
21G     ./logs

5.3G    ./svc

----------------gsda2---------------------

root@gsda2:/# du -h --max-depth=1
4.0K    ./lost+found
3.5G    ./data
9.2G    ./logs

7.0G    ./svc


----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K    ./lost+found
3.4G    ./data
22G     ./logs
3.8G    ./svc


----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K    ./lost+found
3.2G    ./data
483M    ./logs
4.8G    ./svc

번호 제목 글쓴이 날짜 조회 수
67 메이븐 (maven) 설치 및 이클립스 연동하기 file 구퍼 2013.03.06 2280
66 Hadoop 설치 및 시작하기 file 구퍼 2013.03.06 1951
65 Hadoop wordcount 소스 작성 file 구퍼 2013.03.06 1888
64 이클립스에서 생성한 jar 파일 hadoop 으로 실행하기 file 구퍼 2013.03.06 2837
63 ExWordCount jar파일 file 구퍼 2013.03.06 1336
62 Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) file 구퍼 2013.03.07 3995
61 hadoop 설치(3대) file 구퍼 2013.03.07 2613
60 hadoop설치시 참고사항 구퍼 2013.03.08 2131
59 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 구퍼 2013.03.11 14781
58 Cacti로 Hadoop 모니터링 하기 file 구퍼 2013.03.12 2367
57 hadoop설치시 오류 총관리자 2013.12.18 2313
56 hadoop및 ecosystem에서 사용되는 명령문 정리 총관리자 2014.05.28 3455
55 banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 file 총관리자 2014.07.05 2760
54 org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="":root:supergroup:rwxr-xr-x 오류 처리방법 총관리자 2014.07.05 2835
53 access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 총관리자 2014.07.05 1719
52 hadoop의 data디렉토리를 변경하는 방법 총관리자 2014.08.24 536
51 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2015.04.24 19145
50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 총관리자 2015.04.27 322
49 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
48 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 총관리자 2015.05.05 3770

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로