메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.


1. 폴더 사용용량을 확인한다.

  du -h --max-depth=1로 폴더별 사용량을 확인한다.


2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.

   (주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을

    삭제하여준다.)


  cat /dev/null > aaa.log  (aaa.log파일에 내용만 지우는 방법)


* 참고 : 각 서버의 HDD사용용량(예시)

----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K    ./lost+found
317M    ./data
21G     ./logs

5.3G    ./svc

----------------gsda2---------------------

root@gsda2:/# du -h --max-depth=1
4.0K    ./lost+found
3.5G    ./data
9.2G    ./logs

7.0G    ./svc


----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K    ./lost+found
3.4G    ./data
22G     ./logs
3.8G    ./svc


----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K    ./lost+found
3.2G    ./data
483M    ./logs
4.8G    ./svc

번호 제목 글쓴이 날짜 조회 수
499 Cannot create /var/run/oozie/oozie.pid: Directory nonexistent오류 총관리자 2014.06.03 479
498 java.util.NoSuchElementException발생시 조치 총관리자 2014.08.27 476
497 Ubuntu 16.04 LTS에 Hive 2.1.1설치하면서 "Version information not found in metastore"발생하는 오류원인및 조치사항 총관리자 2017.05.03 469
496 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 총관리자 2016.10.17 466
495 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
494 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 총관리자 2018.05.22 450
493 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 총관리자 2015.05.06 448
492 Elastic Search For Hadoop 2.2.0설치하기(5대 클러스터링) 총관리자 2016.04.04 447
491 servlet-api를 jar형태로 build할때 포함하지 말고 java 설치 위치의 jre/lib/ext에 복사하여 사용하는것이 좋다. 총관리자 2016.08.10 444
490 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 총관리자 2016.06.09 441
489 [번역] solr 검색 엔진 튜토리얼 총관리자 2014.10.07 441
488 Drools 6.0 - 비즈니스 룰 기반으로 간단한 룰 애플리케이션 만들기 file 총관리자 2016.07.18 440
487 Could not configure server becase SASL configuration did not allow the Zookeeper server to authenticate itself properly: javax.security.auth.login.LoginException: Checksum failed 총관리자 2019.05.18 434
486 Java 8에서 pom.xml에 JavaDoc 관련 태그가 설정되어 있으나 오류등으로 실패하면 나머지 Maven작업이 종료되는 문제 해결 방법 총관리자 2017.01.24 432
485 elasticsearch 기동시 permission denied on key 'vm.max_map_count' 오류발생시 조치사항 총관리자 2017.06.23 431
484 db를 통째로 새로운 이름의 db로 복사하는 방법/절차 총관리자 2017.11.14 428
483 ontology, jena, sparql등 전반에 대한 설명및 예제를 제공하는 사이트 총관리자 2015.12.08 427
482 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
481 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 총관리자 2015.06.05 426
480 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 총관리자 2015.06.17 423

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로