메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


impala [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다.

gooper 2022.07.29 16:41 조회 수 : 4420

Impala Query수행후 MEM_LIMIT를 초과하는 값에 대해서 disk에 기록해서 처리하는 Memory spilled가 작동하는데 이때 Memory Spilled값을 구하는 방법은 다음과 같다. 

Impala query수행후 query detail화면에서 보여지는 

Query Info의 Memory Spilled값은 Per Node Profiles에서 보여지는 노드별 ScratchFileUsedBytes값을 모두 더해서 구해진다. 


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
25 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 4855
24 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 4856
23 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 4892
22 TLS/SSl설정시 방법및 참고 사항 2021.10.08 4925
21 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 4957
20 kudu rebalance수행 command예시 2022.01.17 5072
19 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
18 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5120
17 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 5209
16 Hive Query Examples from test code (1 of 2) 2014.03.26 5245
15 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 5302
14 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 5337
13 Hive 사용법 및 쿼리 샘플코드 2013.03.07 5441
12 의사분산모드에서 presto설치하기 2014.03.31 5513
11 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 2023.11.30 5870
10 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 5943
9 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 6326
8 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 7107
7 oracle to hive data type정리표 2018.08.22 7374
6 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 7743
쓰기 태그
위로