메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


오류내용 : Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10


쿼리가 수행되면 coordinator는 여러노드에 fragment를 전달한다. 이것은 거의 동시에 진행되며 sender fragment가 데이터를 읽어 다른 fragment(receiver)에 데이터를 전달하려는데 receiver가 어떤 원인에 의해서 데이터를 받아들이지 못하는 상황이 되고 이것이 정해진 시간내에도 진행되지 않아서 timeout이 발생한것임.

이때는 sender와 receiver사이의 timeout시간을 설정해주는 --datastream_sender_timeout_ms를 충분히 길게(예, 240000) 설정해서 timeout에 걸리는 시간을 늘려줄 필요가 있다.


* sender : EXCHANGE바로 아래 있는 작업 Fragment(예, aggregate, scan, etc)를 의미함

* receiver : query profile에 표시되는 EXCHANGE노드를 의미함.

번호 제목 날짜 조회 수
107 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle 2022.06.10 3779
106 tablet별 disk사용량 확인하는 방법 2021.08.27 3758
105 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 2017.04.19 3754
104 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 2020.05.11 3750
103 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 2018.01.25 3737
102 root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) 2015.10.02 3732
101 cassandra cluster 문제가 있는 node제거 하기(DN상태의 노드가 있으면 cassandra cluster 전체에 문제가 발생하므로 반드시 제거할것) 2017.06.21 3729
100 cloudera의 hue에서 사용자가 사용한 쿼리 목록 2020.02.07 3721
99 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 3719
98 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 2018.02.01 3712
97 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 2018.05.22 3674
96 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 3665
95 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 3659
94 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 3631
93 producer / consumer구현시 설정 옵션 설명 2016.10.19 3623
92 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 2018.05.22 3610
91 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 2014.05.20 3595
90 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 2018.05.22 3576
89 spark notebook 0.7.0설치및 설정 2016.11.14 3576
88 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 2016.08.02 3562
위로