메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


AnalysisException: Failed to load metadata for table: 'db.table' CAUSED BY: TableLoadingException: Failed to load metadata for table: db.table CAUSED BY: InvalidStorageDescriptorException: Impala does not support tables of this type. REASON: SerDe library ' org.apache.hadoop.hive.kudu.KuduSerDe' is not supported..

혹은 Hue에서 kudu table이름을 클릭하면 하단에 컬럼정보가 표시되는 대신 "Error loading columns"라는 메세지가 보인다. 


상기한 메세지가 발생하는 경우는 kudu 테이블의 metadata를 저정하고 있는 hive.table_params에 관련 정보가 없거나 잘못되어 발생하는 문제이므로 kudu table의 meta data를 저정하는 table의 정보를 확인해보고 Kudu Master의 WebUI의 Tables탭에서 보이는 Table Name있는 이름이 kudu table meta data를 저장하는 테이블에 동일하게 저장되어 있는지 확인해 봐야 한다.

(테이블 정보는 hive.TBLS에 저정되며 select * from HIVE.TBLS where tbl_name = 'table명 으로 찾을 수 있고 tbl_id가 1234인 경우 kudu 테이블의 meta data는 select * from HIVE.TABLE_PARMS where tbl_id =1234로 검색해 볼수 있다.)

특히 meta data를 저장하는 RDBMS의 이관이나 변경등이 발생할때는 전후 건수 체크를 통해서 누락되지 않도록 하는 조치가 필요해 보인다. 

번호 제목 글쓴이 날짜 조회 수
641 Collections.sort를 이용한 List<Map<String, String>>형태의 데이타 정렬 소스 총관리자 2016.12.15 45
640 magento2 log파일 위치 총관리자 2017.01.31 45
639 halyard의 console스크립트에서 생성한 repository는 RDF4J Web Applications에서 공유가 되지 않는다. 총관리자 2017.07.05 45
638 you are accessing a non-optimized hue please switch to one of the available addresses 총관리자 2021.10.06 45
637 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 gooper 2023.11.30 45
636 webid에서 google처럼 검색할 수 있도록 하는 프로그램 총관리자 2017.05.16 46
635 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 총관리자 2017.08.30 46
634 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 총관리자 2022.03.21 46
633 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 gooper 2023.04.18 47
632 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 총관리자 2016.06.02 48
631 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 총관리자 2022.04.01 48
630 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 총관리자 2022.05.13 48
629 워킹 메모리에 대한 정보를 처리하는 클래스 파일 총관리자 2016.07.21 49
628 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 총관리자 2016.08.09 49
627 [oneM2M]Ontologies used for oneM2M 총관리자 2017.08.02 49
626 Cloudera Manager 5.x설치시 embedded postgresql를 사용하는 경우의 관리정보 총관리자 2018.04.13 49
625 lombok설치방법 총관리자 2020.06.20 49
624 spark 온라인 책자링크 (제목 : mastering-apache-spark) 총관리자 2016.05.25 51
623 S2RDF를 이용한 다른 버젼의 github링크 총관리자 2016.12.02 51
622 파일명 혹은 확장자 일괄 변경하는 방법 총관리자 2017.01.26 51

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로