메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop [2.7.2] distribute-exclude.sh사용할때 ssh 포트변경에 따른 오류발생시 조치사항

총관리자 2018.01.02 17:54 조회 수 : 89

distribute-exclude.sh파일(hdfs-site.xml파일에 지정된 "dfs.hosts.exclude"값을 이용(사용법: ./sbin/distribute-exclude.sh ./etc/hadoop/nodes.exclude)하여 exclude할 노드 정보 파일을 각 네임 노드 서버에 복사하는 스크립트)에서 scp 명령을 사용하는 부분이 있는데 아래와 같이 -P옵션을 부여하여 저장하고 실행한다.


  scp "$excludeFilenameLocal" "$namenode:$excludeFilenameRemote"


을 찾아서 아래와 같이 수정/저장하고 실행시켜준다.


  scp -P 10022 "$excludeFilenameLocal" "$namenode:$excludeFilenameRemote"


*참고 : distribute-exclude.sh을 실행후 refresh-namenodes.sh을 실행시켜주어야 네임노드에 변경사항이 반영된다.

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
340 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 총관리자 2021.11.03 77
339 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 총관리자 2016.09.24 78
338 Components of the Impala Server 총관리자 2018.03.21 78
337 A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 총관리자 2020.05.06 79
336 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) gooper 2022.07.04 80
335 테이블의 row수를 빠르게 카운트 하는 방법 총관리자 2017.01.26 81
334 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle gooper 2022.06.10 81
333 TLS/SSl설정시 방법및 참고 사항 총관리자 2021.10.08 83
332 Hue Job Browser의 Queries탭에서 조건을 지정하는 방법 총관리자 2018.05.10 84
331 HBase write 성능 튜닝 file 총관리자 2017.07.18 87
330 kudu rebalance수행 command예시 총관리자 2022.01.17 87
329 각 서버에 설치되는 cloudera서비스 프로그램 목록(CDH 5.14.0의 경우) 총관리자 2018.03.29 88
328 Authorization within Hadoop Projects gooper 2022.06.13 88
» [2.7.2] distribute-exclude.sh사용할때 ssh 포트변경에 따른 오류발생시 조치사항 총관리자 2018.01.02 89
326 MongoDB에 있는 특정컬럼의 값을 casting(string->integer)하여 update하기 java 소스 총관리자 2016.12.19 90
325 우분투 16.04LTS에 Jupyter설치 총관리자 2018.04.17 91
324 Cloudera Manager재설치하는 동안 "Host is in bad health"오류가 발생하는 경우 확인/조치 사항 총관리자 2018.05.24 91
323 impala session type별 표시되는 정보로 구분하는 방법 총관리자 2021.05.25 92
322 Kudu tablet이 FAILED일때 원인 확인 방법 총관리자 2022.01.17 92
321 It is indirectly referenced from required .class files 오류 발생시 조치방법 총관리자 2017.03.09 93
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로