메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.


1. 폴더 사용용량을 확인한다.

  du -h --max-depth=1로 폴더별 사용량을 확인한다.


2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.

   (주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을

    삭제하여준다.)


  cat /dev/null > aaa.log  (aaa.log파일에 내용만 지우는 방법)


* 참고 : 각 서버의 HDD사용용량(예시)

----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K    ./lost+found
317M    ./data
21G     ./logs

5.3G    ./svc

----------------gsda2---------------------

root@gsda2:/# du -h --max-depth=1
4.0K    ./lost+found
3.5G    ./data
9.2G    ./logs

7.0G    ./svc


----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K    ./lost+found
3.4G    ./data
22G     ./logs
3.8G    ./svc


----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K    ./lost+found
3.2G    ./data
483M    ./logs
4.8G    ./svc

번호 제목 글쓴이 날짜 조회 수
339 DB별 JDBC 드라이버 총관리자 2015.10.02 256
338 console명령과 API비교 총관리자 2015.12.21 120
337 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 총관리자 2015.12.22 145
336 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 158
335 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
334 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
333 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 총관리자 2016.04.01 3007
332 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 375
331 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 490
330 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 총관리자 2016.04.11 397
329 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 70
328 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 205
327 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
326 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 412
325 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 2331
324 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 60
323 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 551
322 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
321 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 567
320 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1027

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로