Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임.
/etc/spark/conf에 있는 환경정보를 확인하면 아래와 같은 부분을 찾아볼 수 있다.
spark.master=yarn-client
그래서 아래와 같은 오류 메세지가 보인다면 standalone모드로 spark-shell를 실행하고 있다는 의미이며 이는 cloudera가 설치한 설정정보들을 읽지 않고 다른 spark프로그램(기존에 설치된 spark2.x같은)이 설정한 정보나 프로그램을 이용하고 있다고 볼수 있다.(기존 프로그램을 돌리기 위한 환경설정 정보를 확인할 필요가 있음)
Caused by: io.netty.channel.AbstractChannel$AnnotatedConnectException: Connection refused: gsda1/XXX.XXX.XXX.XXX:7077