메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive hive metastore db중 TBLS, TABLE_PARAMS테이블 설명

총관리자 2021.10.22 15:29 조회 수 : 2411

1. metastore.TBLS에 hive/impala/kudu 테이블이 저장되며 owner에 테이블 생성 계정과 tbl_name에 소문자로 변환된 테이블명만 기록된다. 

1-1. TBLS에 tbl_type에는 MANAGED_TABLE, EXTERNAL_TABLE값을 가진다. 

2. metastore.TABLE_PARAMS테이블에 kudu테이블 관련 정보가 기록된다. 

특히 param_key='kudu.table_name'컬럼에 param_value부분에 impala::TESTDB.tb_test-table 과 같은 형태로 kudu테이블 이름과 DB명이 같이 저장되며 param_value부분은 대/소문자 변환없이 create table 에 지정된 db명과 테이블명이 그대로 저장된다. 

3. TBLS에서 tbl_name으로 테이블명을 주고 검색하여 tbl_id를 구한후 이값을 TABLE_PARAMS테이블의 tbl_id에 조건을 걸어야 해당 테이블에 대한 속성 정보를 볼 수 있다. 

4. kudu테이블의 경우 TABLE_PARAMS컬럼에 STATS_GENERATED_VIA_STATS_TASK, kudu.master_address, kudu.table_name, numRows, storage_handler, transient_lastDdlTime등의 값이 저장되며 external table의 경우 external의 저장된다. 

5. hive테이블의 경우 external과 transient_lastDdlTime등의 일부만 저장된다. 

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
670 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 2022.05.13 2416
669 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 2632
668 [TLS/SSL]Kudu Master 설정하기 2022.05.13 2741
667 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 2621
666 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 2022.05.13 2999
665 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 2022.05.11 2533
664 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 2836
663 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 2915
662 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 3059
661 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 2022.05.02 2467
660 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 2022.04.30 2897
659 주문히스토리 조회 2022.04.30 1343
658 주문 생성 데이터 예시 2022.04.30 1022
657 restaurant-controller,에서 등록 예시 2022.04.30 971
656 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 2022.04.28 2538
655 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 2022.04.14 1086
654 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 2022.04.14 1764
653 collection생성혹은 collection조회시 Plugin init failure for [schema.xml] fieldType "pdate": Error loading class 'solr.IntField' 오류 조치사항 2022.04.07 2102
652 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 2022.04.01 1360
651 HDFS에서 quota 설정 방법및 확인 방법 2022.03.30 2596
쓰기 태그
위로