메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Cloudera CDH/CDP impala테이블 쿼리시 max_row_size 관련 오류가 발생할때 조치사항

총관리자 2020.02.12 16:04 조회 수 : 222

쿼리문장 앞에set max_row_size="2mb"; 를 지정하고 쿼리를 수행하거나,  전체에 일괄 적용하기 위해서서는 아래와 같이 CM의 Impala 컴포넌트에 설정해준다.

CM->Impala->Configuration->Impala Daemon Query Options Advanced Configuration snippet(Safety Valve)(default_query_options) : "max_row_size=2mb"형태로 추가해주면 모든 쿼리에 default로 적용되는 설정이 됨


* 참고 : default값은 512KB이며 크게 적용할 수록 메모리를 많이 먹게 되므로 적절한 값을 사용할 것.

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
240 [JSON 파싱]mongodb의 document를 GSON을 이용하여 parsing할때 ObjectId값에서 오류 발생시 조치방법 총관리자 2017.01.18 326
239 Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node 오류시 조치방법 총관리자 2017.04.06 325
238 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 총관리자 2015.04.27 322
237 [Kudu] tablet server 혹은 kudu master가 어떤 원인에 의해서 replica가 failed상태인 경우 복구하는 방법 총관리자 2021.05.24 319
236 editLog의 문제로 발생하는 journalnode 기동 오류 발생시 조치사항 총관리자 2017.09.14 314
235 [Oozie]Disk I/O error: Failed to open HDFS file dhfs://..../tb_aaa/....OPYING 총관리자 2019.02.15 312
234 Cloudera설치중 실패로 여러번 설치하는 과정에 "Running in non-interactive mode, and data appears to exist in Storage Directory /dfs/nn. Not formatting." 오류가 발생시 조치하는 방법 총관리자 2018.03.29 309
233 cassandra cluster 문제가 있는 node제거 하기(DN상태의 노드가 있으면 cassandra cluster 전체에 문제가 발생하므로 반드시 제거할것) 총관리자 2017.06.21 309
232 spark-submit으로 spark application실행하는 다양한 방법 총관리자 2016.05.25 304
231 Spark에서 KafkaUtils.createStream()를 이용하여 이용하여 kafka topic에 접근하여 객채로 저장된 값을 가져오고 처리하는 예제 소스 총관리자 2017.04.26 292
230 kafka 0.9.0.1버젼의 producer와 kafka버젼이 0.10.0.1인 consumer가 서로 대화하는 모습 총관리자 2016.08.18 288
229 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 총관리자 2017.04.19 284
228 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 총관리자 2018.05.30 283
227 [sap] Error: java.io.IOException: SQLException in nextKeyValue 오류 발생 총관리자 2020.06.08 277
226 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 총관리자 2015.05.08 268
225 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 총관리자 2021.10.22 265
224 kafka에서 메세지 중복 consume이 발생할 수 있는 상황 총관리자 2018.10.23 264
223 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 총관리자 2017.07.26 260
222 Not enough replica available for query at consistency QUORUM가 발생하는 경우 총관리자 2017.06.21 256
221 DB별 JDBC 드라이버 총관리자 2015.10.02 256
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로