Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
jps로 확인하면 nodemanager가 떠 있는데 yarn-daemon.sh stop nodemanager하거나 stop-all.sh하면 "no nodemanager to stop"라면서
stop되지 않는 문제가 발생하여 kill 하고 yarn-daemon.sh start nodemanager할 수 있는데 아래와 같이 하면 오류없이 작동된다.
---오류내용--------
>yarn-daemon.sh start nodemnager
starting nodemnager, logging to /data/logs/yarn-hadoop-nodemnager-node2.out
Error: Could not find or load main class nodemnager
---조치사항---
yarn-site.xml에서
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
을 아래와 같이 수정해준다.
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
*대부분의 사이트에는 "mapreduce.shuffle"으로 표시되어 있는데..
이렇게 해도 start는 되지만 나중에 해당 데몬에 대한 변경을 할때 제대로 작동하지 않는 문제가 발생한다.
즉 설정할때 "mapreduce_shuffle"로 해야 문제가 발생하지 않는다.