메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


* 50070포트나 8088포트를 통해서 hadoop cluster확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy포 표시되면서 처리속도가 현저히 떨어지면 hard disk full 상황을 확인해야한다.


1. 폴더 사용용량을 확인한다.

  du -h --max-depth=1로 폴더별 사용량을 확인한다.


2. 불필요하게 많이 차지하고 있는 파일을 확인하여 내용을 지우거나 설정을 변경하여 파일에 내용이 많이 기록되지 않게 처리한다.

   (주로 log파일이 이렇게 많은 공간을 차지 하는 경우가 많으므로 설정을 변경하여 주기적으로 삭제되게 하거나 아래의 명령으로 파일내용을

    삭제하여준다.)


  cat /dev/null > aaa.log  (aaa.log파일에 내용만 지우는 방법)


* 참고 : 각 서버의 HDD사용용량(예시)

----------------gsda1------------------
root@gsda1:/# du -h --max-depth=1
4.0K    ./lost+found
317M    ./data
21G     ./logs

5.3G    ./svc

----------------gsda2---------------------

root@gsda2:/# du -h --max-depth=1
4.0K    ./lost+found
3.5G    ./data
9.2G    ./logs

7.0G    ./svc


----------------gsda3------------------
root@gsda3:/# du -h --max-depth=1
4.0K    ./lost+found
3.4G    ./data
22G     ./logs
3.8G    ./svc


----------------gsda4-------------------------
root@gsda4:/# du -h --max-depth=1
4.0K    ./lost+found
3.2G    ./data
483M    ./logs
4.8G    ./svc

번호 제목 글쓴이 날짜 조회 수
90 [sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법 총관리자 2018.10.16 215
89 hive metastore ERD file 총관리자 2018.09.20 729
88 oracle to hive data type정리표 총관리자 2018.08.22 764
87 RHEL 7.4에 zeppelin 0.7.4 설치 총관리자 2018.07.31 196
86 conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0) 총관리자 2018.07.30 421
85 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 총관리자 2018.07.03 1220
84 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 총관리자 2018.04.20 110
83 우분투 16.04LTS에 Zeppelin 0.7.3설치 총관리자 2018.04.18 198
82 CentOS 7.x에 Jupyter설치 총관리자 2018.04.18 550
81 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 총관리자 2018.04.17 146
80 우분투 16.04LTS에 Jupyter설치 총관리자 2018.04.17 90
79 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 총관리자 2018.04.15 194
78 Scala에서 countByWindow를 이용하기(예제) 총관리자 2018.03.08 235
77 Scala를 이용한 Streaming예제 총관리자 2018.03.08 69
76 scala application 샘플소스(SparkSession이용) 총관리자 2018.03.07 135
75 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 총관리자 2018.02.01 517
74 Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법 총관리자 2018.02.01 196
73 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 총관리자 2018.01.16 1115
72 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 총관리자 2017.07.26 260
71 Hive MetaStore Server기동시 Could not create "increment"/"table" value-generation container SEQUENCE_TABLE since autoCreate flags do not allow it. 오류발생시 조치사항 총관리자 2017.05.03 347

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로