메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. 일반 사용자의 Impala Memory 리소스 사용 제약을 위하여 Impala Admission Control 설정 방법

2. 쿼리 수행시 메모리 판단 기준

  2.1) Impala Admission Control에서 설정 가능한 항목 확인

   > Max Memory Limit : 쿼리 실행계획의 "Per-Host Resou rce Estimates" 값으로 체크되어 배제, impalad프로세스에 대한 전체 제한을 설정

   > Maximum Query Memory Limit : 쿼리 실행계획의 "M ax Per-Host Resource Reservation" 값으로 필요 메모리 최소 값체크, 각 호스트의 쿼리당 메모리로 체크

  2.2) Maximum Query Memory Limit 설정에서 쿼리별 필요한 최소 메모리 계산 방법

   > 필요한 최소메모리(A)가 구하고자 하는 값의 100%, Max Per-Host Resource Reservation(B)가 80%, 나머지 20%(20%가 32보다 작으면 32M)

   > A(100%)=B(80%)+Max(32M,(A의 20%))

  2.3) Maximum Query Memory Limit 값 설정을 위한 참조 할 수 있는 메모리 값

   > 참조값1)쿼리 실행계획의 "Max Per-Host Resource Reservation" 값으로 최소 메모리값을 계산하여 참조

    => Impala 데몬 호스트에 필요한 쿼리당 "최소 메모리"입니다.

    => 최소 메모리값을 구하여 설정하면 쿼리는 실행 되지만, 추가로 필요한 메모리양 만큼 디스크를 사용(spill)하여 성능이 저하 될 수 있습니다.

    => Maximum Query Memory Limit 설정값이 "최소 메모리" 값보다 작으면 쿼리는 실패합니다.

   > 참조값2)쿼리 프로파일의 "per Node Peak Memory Usage"값을 참조

    => 각 impala 데몬 호스트에서 사용되는 쿼리당의 "최대 메모리" 사용량입니다.

    => CM > Impala > Queries 에서 "Per Node Peak Memory Usage" 로 확인 가능 합니다.

    => CM > Charts > Chart Builder 에서 select memory_per_node_peak from IMPALA_QUERIES where service_name="impala" 쿼리로도 확인 가능 합니다.

3. 다음과 같이 쿼리 수행시 판단하면 된다. 

  3.1) Impala Admission Control > "Maximum Query Memory Limit" 항목을 이용 하여 Impala Memory 리소스 사용 제약

  3.2) "per Node Peak Memory Usage"값을 참고 하여 Maximum Query Memory Limit 값을 설정

    (각 호스트에서 쿼리에 필요 할 수 있는 "최대 메모리" 사용량으로 설정합니다.)

번호 제목 글쓴이 날짜 조회 수
17 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 gooper 2024.01.05 4
16 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 gooper 2023.11.30 33
15 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 gooper 2023.11.16 11
14 임시 테이블에서 데이터를 읽어서 partitioned table에 입력하는 impala SQL문 예시 gooper 2023.11.10 15
13 [Impala jdbc]CDP7.1.7환경에서 java프로그램을 이용하여 kerberized impala cluster에 접근하여 SQL을 수행하는 방법 gooper 2023.08.22 51
12 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 gooper 2023.05.31 21
» Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 gooper 2023.05.19 63
10 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 gooper 2022.11.30 694
9 [impala]쿼리 수행중 발생하는 오류(due to memory pressure: the memory usage of this transaction, Failed to write to server) gooper 2022.10.05 61
8 [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다. gooper 2022.07.29 28
7 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) gooper 2022.07.04 72
6 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle gooper 2022.06.10 80
5 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 총관리자 2021.11.03 76
4 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 총관리자 2021.07.26 33
3 impald에서 idle_query_timeout 와 idle_session_timeout 구분 총관리자 2021.05.20 1630
2 impala external 테이블 생성시 컬럼과 라인 구분자를 지정하여 테이블 생성하는 예시 총관리자 2020.02.20 107
1 impala 설치/설정 총관리자 2016.06.03 1028

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로