Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
1. 아래와 같은 오류가 발생하는 경우 disk 여유 공간을 확인하여 가용한 공간을 확보해 주어야함
(default값은 90%이며 yarn-site.xml에 아래의 옵션을 설정하면 비율을 조절할 수 있다)
<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>98.5</value>
</property>
2. core-site.xml의 아래 옵션에 있는 경로에 권한이 있는지 확인한다.
<property>
<name>hadoop.tmp.dir</name>
<value>file:///engine/bigdata/hadoop/tmp</value>
</property>
*참고 : yarn-site.xml에 아래와 같은 값을 지정하여 체크하지 않도록 할 수도 있다.
<property>
<name>yarn.nodemanager.disk-health-checker.enable</name>
<value>false</value>
</property>
---------------------------------오류내용-------------------------
1/1 local-dirs are bad: /data/home/root/work/tmp/nm-local-dir; 1/1 log-dirs are bad: /data/logs/root/yarn/userlogs
혹은
Unhealthy Node local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir
