메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.


1. 폴더 사용용량을 확인한다.

  du -h --max-depth=1로 폴더별 사용량을 확인한다.


2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.

   (주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을

    삭제하여준다.)


  cat /dev/null > aaa.log  (aaa.log파일에 내용만 지우는 방법)


* 참고 : 각 서버의 HDD사용용량(예시)

----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K    ./lost+found
317M    ./data
21G     ./logs

5.3G    ./svc

----------------gsda2---------------------

root@gsda2:/# du -h --max-depth=1
4.0K    ./lost+found
3.5G    ./data
9.2G    ./logs

7.0G    ./svc


----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K    ./lost+found
3.4G    ./data
22G     ./logs
3.8G    ./svc


----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K    ./lost+found
3.2G    ./data
483M    ./logs
4.8G    ./svc

번호 제목 글쓴이 날짜 조회 수
455 python3.5에서 numpy버젼에 따른 문제점을 조치하는 방법및 pymysql import할때 오류 발생시 조치사항 총관리자 2017.09.28 72
454 fuseki에서 제공하는 script중 s-post를 사용하는 예문 총관리자 2017.09.15 28
453 core 'gc_shard3_replica2' is already locked라는 오류가 발생할때 조치사항 총관리자 2017.09.14 19
452 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 총관리자 2017.09.14 218
451 halyard 1.3의 console을 이용하여 100억건의 데이타에 대한 쿼리수행시 ScannerTimeoutException 발생시 조치사항 총관리자 2017.09.06 126
» hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 총관리자 2017.08.30 38
449 파일은 남겨두고 파일 내용만 지우고자 할 때. 총관리자 2017.08.30 27
448 RDF4J의 RESTFul API처리 클래스 소스 파악(web module위주) 총관리자 2017.08.30 153
447 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용한 CRUD테스트(트랜잭션처리) 총관리자 2017.08.30 32
446 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용하여 repository에 CRUD테스트 총관리자 2017.08.30 47
445 DeviceType이 o:motion-sensor_33 이거나 o:motion-sensor_32 경우의 sparql문장은 다음과 같다. 총관리자 2017.08.16 33
444 [oneM2M]Ontologies used for oneM2M 총관리자 2017.08.02 46
443 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 총관리자 2017.07.26 234
442 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 총관리자 2017.07.26 209
441 jena/fuseki 3.4.0 설치 총관리자 2017.07.25 153
440 LUBM 데이타 생성구문 총관리자 2017.07.24 137
439 Core with name 'xx_shard4_replica1' already exists. 발생시 조치사항 총관리자 2017.07.22 46
438 9대가 hbase cluster로 구성된 서버에서 테스트 data를 halyard에 적재하고 테스트 하는 방법및 절차 총관리자 2017.07.21 53
437 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 총관리자 2017.07.19 1250
436 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 총관리자 2017.07.18 885

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로