메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


오류내용 : Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10


쿼리가 수행되면 coordinator는 여러노드에 fragment를 전달한다. 이것은 거의 동시에 진행되며 sender fragment가 데이터를 읽어 다른 fragment(receiver)에 데이터를 전달하려는데 receiver가 어떤 원인에 의해서 데이터를 받아들이지 못하는 상황이 되고 이것이 정해진 시간내에도 진행되지 않아서 timeout이 발생한것임.

이때는 sender와 receiver사이의 timeout시간을 설정해주는 --datastream_sender_timeout_ms를 충분히 길게(예, 240000) 설정해서 timeout에 걸리는 시간을 늘려줄 필요가 있다.


* sender : EXCHANGE바로 아래 있는 작업 Fragment(예, aggregate, scan, etc)를 의미함

* receiver : query profile에 표시되는 EXCHANGE노드를 의미함.

번호 제목 날짜 조회 수
145 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 90866
144 Hive Query Examples from test code (2 of 2) 2014.03.26 13505
143 insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 2014.04.29 9668
142 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9077
141 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 7887
140 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 7743
139 oracle to hive data type정리표 2018.08.22 7377
138 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 7108
137 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 6326
136 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 5944
135 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 2023.11.30 5882
134 의사분산모드에서 presto설치하기 2014.03.31 5517
133 Hive 사용법 및 쿼리 샘플코드 2013.03.07 5442
132 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 5358
131 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 5308
130 Hive Query Examples from test code (1 of 2) 2014.03.26 5245
129 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 5211
128 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5121
127 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
126 TLS/SSl설정시 방법및 참고 사항 2021.10.08 5095
위로