Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임.
/etc/spark/conf에 있는 환경정보를 확인하면 아래와 같은 부분을 찾아볼 수 있다.
spark.master=yarn-client
그래서 아래와 같은 오류 메세지가 보인다면 standalone모드로 spark-shell를 실행하고 있다는 의미이며 이는 cloudera가 설치한 설정정보들을 읽지 않고 다른 spark프로그램(기존에 설치된 spark2.x같은)이 설정한 정보나 프로그램을 이용하고 있다고 볼수 있다.(기존 프로그램을 돌리기 위한 환경설정 정보를 확인할 필요가 있음)
Caused by: io.netty.channel.AbstractChannel$AnnotatedConnectException: Connection refused: gsda1/XXX.XXX.XXX.XXX:7077
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
680 | dual table만들기 | 총관리자 | 2014.05.16 | 824 |
679 | 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) | 총관리자 | 2014.05.20 | 984 |
678 | source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 | 총관리자 | 2014.05.20 | 687 |
677 | hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 | 총관리자 | 2014.05.20 | 999 |
676 | import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by " |