Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
impala Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안
오류내용 : Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10
쿼리가 수행되면 coordinator는 여러노드에 fragment를 전달한다. 이것은 거의 동시에 진행되며 sender fragment가 데이터를 읽어 다른 fragment(receiver)에 데이터를 전달하려는데 receiver가 어떤 원인에 의해서 데이터를 받아들이지 못하는 상황이 되고 이것이 정해진 시간내에도 진행되지 않아서 timeout이 발생한것임.
이때는 sender와 receiver사이의 timeout시간을 설정해주는 --datastream_sender_timeout_ms를 충분히 길게(예, 240000) 설정해서 timeout에 걸리는 시간을 늘려줄 필요가 있다.
* sender : EXCHANGE바로 아래 있는 작업 Fragment(예, aggregate, scan, etc)를 의미함
* receiver : query profile에 표시되는 EXCHANGE노드를 의미함.
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
681 | dual table만들기 | 총관리자 | 2014.05.16 | 826 |
680 | 특정파일이 생성되어야 action이 실행되는 oozie job만들기(coordinator.xml) | 총관리자 | 2014.05.20 | 984 |
679 | source의 type을 spooldir로 하는 경우 해당 경로에 파일이 들어오면 파일단위로 전송함 | 총관리자 | 2014.05.20 | 687 |
678 | hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 | 총관리자 | 2014.05.20 | 999 |
677 | import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by " |