Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임.
/etc/spark/conf에 있는 환경정보를 확인하면 아래와 같은 부분을 찾아볼 수 있다.
spark.master=yarn-client
그래서 아래와 같은 오류 메세지가 보인다면 standalone모드로 spark-shell를 실행하고 있다는 의미이며 이는 cloudera가 설치한 설정정보들을 읽지 않고 다른 spark프로그램(기존에 설치된 spark2.x같은)이 설정한 정보나 프로그램을 이용하고 있다고 볼수 있다.(기존 프로그램을 돌리기 위한 환경설정 정보를 확인할 필요가 있음)
Caused by: io.netty.channel.AbstractChannel$AnnotatedConnectException: Connection refused: gsda1/XXX.XXX.XXX.XXX:7077
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
399 | insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 | 총관리자 | 2014.04.29 | 7129 |
398 | oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. | 총관리자 | 2014.05.14 | 699 |
397 | sqoop export/import등을 할때 driver를 못찾는 오류가 발생하면... | 총관리자 | 2014.05.15 | 865 |
396 | sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것 | 총관리자 | 2014.05.15 | 1528 |
395 | dual table만들기 | 총관리자 | 2014.05.16 | 824 |
394 | 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) | 총관리자 | 2014.05.20 | 984 |
393 | source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 | 총관리자 | 2014.05.20 | 687 |
392 | hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 | 총관리자 | 2014.05.20 | 999 |
391 | import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by " |