코어 Impala 컴포넌트로 클러스터의 개별 DataNode에서 실행되는 impalad 프로세스입니다. 이 Impala Daemon 프로세스는 Impala-shell 명령어, Hue, JDBC나 ODBC에서 전송된 쿼리 요청을 수용하고, 쿼리 실행을 병렬 처리하기 위해 클러스터내의 Impala 데몬 프로세스에게 작업을 분배하고, 데이터 노드의 데이터 파일에 대해 직접 읽기/쓰기 작업을 수행하며, 클라이언트에게 작업 결과를 리턴하기 위해 Coordinator 노드의 Impala 데몬이 분산 처리된 작업 결과를 수집 및 집계하여 작업결과를 회신합니다. 

모든 DataNode 호스트에서 실행 중인 Impala Daemon에게 쿼리 작업을 제출(submit)이 가능하며, 요청을 접수 받은 Impala Daemon은 해당 쿼리에 대한 Coordinator 노드의 역할을 수행하며, 다른 노드에서는 실행된 부분 결과는 Coordinator 노드에서 수집하며, 분산 처리된 결과를 집계하여 최종 수행 결과를 생성합니다. 테스트 환경에서는 특정 Impala 데몬에게 직접 연결하여 요청을 수행할 수도 있으며, 운영 환경에서는 소프트웨어/하드웨어 기반의 부하분산 컴포넌트를 사용하여 JDBC / ODBC 인터페이스를 사용하여 다중 Impala Daemon에게 round-robin 패턴으로 쿼리 요청을 부하분산 시킬 수 있습니다. 

Impala Daemon은 클러스터내에서 정상 동작 중인 다른 Impala Daemon의 health 상태를 확인하기 위해 Statestore와 통신하며, 클러스터 내의 특정 Impala 노드에서 수행된 Create, Alter나 Drop과 같은 오퍼레이션이나 INSERT나 LOAD DATA와 같은 문이 실행될 때 변경사항을 동기화하기 위해서 catalogd 데몬에서 발행된 broadcast 메시지를 수신합니다.  

Impala Statestore(statestored 프로세스)는 클러스터내의 모든 DataNode상의 Impala Deamon의 health를 체크하는 역할을 담당합니다. 이 statestored 프로세스는 클러스터내에 단일 호스트에만 배포 구성됩니다. 특정 Impala Daemon이 하드웨어, 네트워크 장애 및 소프트웨어 이슈와 같은 이유로 오프라인으로 상태가 변경된 경우, Statstore는 장애가 발생한 노드의 Impala Daemon에게 쿼리 요청이 전달되지 않도록 장애가 발생한 Impala Daemon의 내용을 다른 Impala Daemon에게 공유합니다. 

Statestore의 용도는 문제가 발생한 경우 이를 지원하는 기능을 하기 때문에 Impala 클러스터내의 일반적인 동작에는 중요한 역할을 담당하지 않습니다. Statestore가 실행되지 않거나 문제가 발생을 하더라도 Impala Daemon은 정상 동작하며, 장애가 발생한 Statestore가 다시 온라인 상태로 변경이 되면, Impala Daemon은 다시 Statestore와 연결이 되어 전체 클러스터내의 Impala Daemon의 모니터링 기능을 수행합니다. 

Impala StateStore 컴포넌트가 Impala 클러스터링 환경에서의 기능 및 역할을 간략하게 설명하면 다음과 같습니다:

• Impala StateStore가 중지가 되어 있더라도 Impala 데몬에서 실행되는 쿼리 수행에 영향도가 없습니다.

• 그리나, StateStore에 장애가 발생하여 OFF 상태인 경우, 전역 상태 변경사항이 Impala 클러스터링내에 공유되지 않습니다. 하지만, StatStore가 다시 Online 상태로 변경되면 다시 정상 동작을 재개합니다.

• StateStore의 주 역할은 다음과 같습니다:

1. Cluster Membership: Impala 데몬들의 health checking 정보를 공유합니다.

2. Metadata 갱신: Catalog 서버에서 발생된 메타데이터 변경사항을 Impala 데몬에게 공유합니다.

3. Admission Control State: Impala Admission Control이 Out Of Sync로 동작됩니다.

Catalog Service(catalogd)는 Impala SQL 문에서 발생한 메타데이터의 변경사항을 클러스터내의 모든 Data Node에게 전파하는 역할을 담당합니다. 이 카탈로그 데몬은 클러스터내에 Standalone으로 배포하도록 설계되었습니다. 또한, Catalogd에서 발생한 요청은 Statestore 데몬을 통해 전파되기 때문에 statestored / catalogd 서비스를 동일한 호스트에 배포 구성하는 것을 권장합니다. 

Impala를 통해 메타데이터가 변경된 경우에는 REFRESH와 INVALIDATE METADATA 문을 수행할 필요가 없습니다. Hive을 통해 테이블을 생성하거나 데이터를 로딩하는 경우에는 Impala 쿼리를 수행하기 전에 Impala 노드에서 REFRESH나 INVALIDATE METADATA를 수행해야 합니다.    

• Impala를 통해 CREATE TABLE, INSERT나 다른 테이블 변경과 데이터 변경 오퍼레이션에 대해서는 REFRESH와 INVALIDATE METADATA 문을 실행할 필요가 없습니다. 

• Hive나 HDFS에서 직접 데이터 파일을 조작하는 경우에 특정 하나의 Impala 노드에서 REFRESH와 INVALIDATE METADATA문을 실행해야 합니다.

메타데이터 로딩 및 캐싱의 기본 동작 방식은 비동기방식으로 실행 시점에 수행되기 때문에, Impala는 즉시 SQL 요청을 수용할 수 있습니다. 모든 메타데이터를 로딩한 뒤에 요청을 처리하도록 변경하기 위해서는 catalogd 구성 옵션을 다음과 같이 설정하십시오:

load_catalog_in_background=false