메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. 아래와 같은 오류가 발생하는 경우 disk 여유 공간을 확인하여 가용한 공간을 확보해 주어야함

(default값은 90%이며 yarn-site.xml에 아래의 옵션을 설정하면 비율을 조절할 수 있다)


<property>

        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>

        <value>98.5</value>

</property>


2. core-site.xml의 아래 옵션에 있는 경로에 권한이 있는지 확인한다.

    <property>

     <name>hadoop.tmp.dir</name>

     <value>file:///engine/bigdata/hadoop/tmp</value>

  </property>



*참고 : yarn-site.xml에 아래와 같은 값을 지정하여 체크하지 않도록 할 수도 있다.

<property>

    <name>yarn.nodemanager.disk-health-checker.enable</name>

    <value>false</value>

 </property>


---------------------------------오류내용-------------------------

1/1 local-dirs are bad: /data/home/root/work/tmp/nm-local-dir; 1/1 log-dirs are bad: /data/logs/root/yarn/userlogs

혹은

Unhealthy Node local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir

번호 제목 글쓴이 날짜 조회 수
27 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 372
26 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 총관리자 2016.04.01 2984
25 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
24 hortonworks에서 제공하는 메모리 설정값 계산기 사용법 file 총관리자 2015.06.14 719
23 Error: Could not find or load main class nodemnager 가 발생할때 해결하는 방법 총관리자 2015.06.05 426
» Nodes of the cluster (unhealthy)중 1/1 log-dirs are bad: 오류 해결방법 총관리자 2015.05.17 599
21 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 총관리자 2015.05.06 448
20 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 총관리자 2015.05.05 3769
19 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 총관리자 2015.04.27 322
17 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2015.04.24 19127
16 hadoop의 data디렉토리를 변경하는 방법 총관리자 2014.08.24 531
15 access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 총관리자 2014.07.05 1719
14 org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="":root:supergroup:rwxr-xr-x 오류 처리방법 총관리자 2014.07.05 2833
13 banana pi에(lubuntu)에 hadoop설치하고 테스트하기 - 성공 file 총관리자 2014.07.05 2760
12 hadoop및 ecosystem에서 사용되는 명령문 정리 총관리자 2014.05.28 3455
11 hadoop설치시 오류 총관리자 2013.12.18 2313
10 Cacti로 Hadoop 모니터링 하기 file 구퍼 2013.03.12 2367
9 org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 구퍼 2013.03.11 14781
8 hadoop설치시 참고사항 구퍼 2013.03.08 2131

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로