Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
oozie의 sqoop action으로 import혹은 export수행시 발생한 오류는 oozie의 job browser에서 자세한 내용을 확인할 수 없다.
이류는 oozie sqoop action으로 작업시 최초에 Launcher를 수행하기 위한 YARN application을 수행하며 이 Launcher에서
실제 map/reduce작업을 위한 YARN application을 수행하는 구조이기 때문에
M/R작업에 사용된 application_id를 확인하여 거기서 실행된 task의 log를 확인해야 정확안 오류 내용을 확인할 수 있다.
이때 M/R용 application_id를 확인하는 방법은 다음과 같다.
oozie launcher에 application의 Logs->stdout에서 Submitted application 부분에 명시된 application_id를 확인하고 이것을 이용하여
ResourceManager WebUI나 HistoryServer WebUI에서 application혹은 job의 로그를 확인한다.
* oozie launcher(application_1705745455734_635833) 의 stdout에 보여지는 log의 일부
.....
16:09:47.515 [main] INFO org.apache.hadoop.yarn.client.api.impl.YarnClientImpl - Submitted application application_1705745455734_635836
16:09:47.555 [main] INFO org.apache.hadoop.mapreduce.Job - The url to track the job: http://bdapnamp01.bdp.samsungfire.com:8088/proxy/application_1705745455734_635836/
16:09:47.555 [main] INFO org.apache.hadoop.mapreduce.Job - Running job: job_1705745455734_635836
16:09:54.620 [main] INFO org.apache.hadoop.mapreduce.Job - Job job_1705745455734_635836 running in uber mode : false
16:09:54.621 [main] INFO org.apache.hadoop.mapreduce.Job - map 0% reduce 0%
16:10:03.665 [main] INFO org.apache.hadoop.mapreduce.Job - map 8% reduce 0%
16:10:04.668 [main] INFO org.apache.hadoop.mapreduce.Job - map 100% reduce 0%
16:10:04.673 [main] INFO org.apache.hadoop.mapreduce.Job - Job job_1705745455734_635836 failed with state FAILED due to: Task failed task_1705745455734_635836_m_000001
Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0
...