Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
hadoop mapper는 각각 자신의 heap memory최대 설정값을 가지는 각각의 별도 java 프로세스이며 이는 mapred.map.child.java.opts( hadoop 2+에서는 mapreduce.map.java.opts)를 통해서 제어가 가능하다. 이러한 설정이 제대로; 되어 있다면 아래와 같은 오류가 발생하면서 "Killing container"되는 경우는 없다.
mapreduce.map.memory.mb의 75%정도를 지정해준다.
reduce도 mapreduce.map.java.opts와 mapreduce.reduce.memory.mb옵션이 있으며 mapreduce.reduce.memory.mb는 mapreduce.map.memory.mb의 2~4배를 지정해주고 mapreduce.reduce.java.opt는 mapreduce.reduce.memory.mb의 75%를 지정해주면 된다.
-----오류내용----------------
Error: java.lang.RuntimeException: java.lang.OutOfMemoryError
