1. 일반 사용자의 Impala Memory 리소스 사용 제약을 위하여 Impala Admission Control 설정 방법

2. 쿼리 수행시 메모리 판단 기준

  2.1) Impala Admission Control에서 설정 가능한 항목 확인

   > Max Memory Limit : 쿼리 실행계획의 "Per-Host Resou rce Estimates" 값으로 체크되어 배제, impalad프로세스에 대한 전체 제한을 설정

   > Maximum Query Memory Limit : 쿼리 실행계획의 "M ax Per-Host Resource Reservation" 값으로 필요 메모리 최소 값체크, 각 호스트의 쿼리당 메모리로 체크

  2.2) Maximum Query Memory Limit 설정에서 쿼리별 필요한 최소 메모리 계산 방법

   > 필요한 최소메모리(A)가 구하고자 하는 값의 100%, Max Per-Host Resource Reservation(B)가 80%, 나머지 20%(20%가 32보다 작으면 32M)

   > A(100%)=B(80%)+Max(32M,(A의 20%))

  2.3) Maximum Query Memory Limit 값 설정을 위한 참조 할 수 있는 메모리 값

   > 참조값1)쿼리 실행계획의 "Max Per-Host Resource Reservation" 값으로 최소 메모리값을 계산하여 참조

    => Impala 데몬 호스트에 필요한 쿼리당 "최소 메모리"입니다.

    => 최소 메모리값을 구하여 설정하면 쿼리는 실행 되지만, 추가로 필요한 메모리양 만큼 디스크를 사용(spill)하여 성능이 저하 될 수 있습니다.

    => Maximum Query Memory Limit 설정값이 "최소 메모리" 값보다 작으면 쿼리는 실패합니다.

   > 참조값2)쿼리 프로파일의 "per Node Peak Memory Usage"값을 참조

    => 각 impala 데몬 호스트에서 사용되는 쿼리당의 "최대 메모리" 사용량입니다.

    => CM > Impala > Queries 에서 "Per Node Peak Memory Usage" 로 확인 가능 합니다.

    => CM > Charts > Chart Builder 에서 select memory_per_node_peak from IMPALA_QUERIES where service_name="impala" 쿼리로도 확인 가능 합니다.

3. 다음과 같이 쿼리 수행시 판단하면 된다. 

  3.1) Impala Admission Control > "Maximum Query Memory Limit" 항목을 이용 하여 Impala Memory 리소스 사용 제약

  3.2) "per Node Peak Memory Usage"값을 참고 하여 Maximum Query Memory Limit 값을 설정

    (각 호스트에서 쿼리에 필요 할 수 있는 "최대 메모리" 사용량으로 설정합니다.)