Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
kudu table인 admin.hue_user_dept 테이블의 메타정보가 틀어진 경우에는 다음과 같이 조치한다.
(Hue에서 alter table rename을 할때 HDFS폴더에 impala에게 권한이 없어 kudu table명은 변경되고 HDFS명 변경시 오류가 발생하면서 메타정보가 틀어지는 경우가 있음)
1. admin DB의 ID를 확인한다.
select * from hive.dbs where name='admin';
--> 7973
2. hive.tbls에서 해당 테이블의 ID및 table명을 확인한다.
select * from hive.tbls where tbl_name like '%hue_user_dept%' and db_id=7973;
--> 102504 1671852408 7973 0 hadoop USER 0 2941304 hue_user_dept EXTERNAL_TABLE 0 0
3. hive.table_params에서 kudu table정보를 확인한다.
select * from hive.table_params where param_key='kudu.table_name' and param_value like 'impala::admin.hue_user_dept%';
--> 102504 kudu.table_name impala::admin.hue_user_dept
4. 만일읭 사태를 대비하여 기존 테이블은 backup해둔다.
create table hive.tbls_20231109 as select * from hive.tbls;
create table hive.table_params_20231109 as select * from hive.table_params;
5. hive.tbls정보를 update한다.
update hive.tbls set tbl_name='hue_user_dept_old' where tbl_name ='hue_user_dept' and tbl_id=102504 and db_id=7973;
5. hive.table_params정보를 update한다.
update hive.table_params set param_value='impala::admin.hue_user_dept_old' where param_key='kudu.table_name' and tbl_id=102504 and param_value like 'impala::admin.hue_user_dept';
*참고 :
hue에서 invalidate metadata admin.hue_user_dept_old; 를 수행해야 테이블이 정상적으로 보인다.
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
10 | Hive java connection 설정 | 구퍼 | 2013.04.01 | 2013 |
9 | banana pi에 hive 0.13.1+mysql(metastore)설치 | 총관리자 | 2014.09.09 | 2406 |
8 | Hive+mysql 설치 및 환경구축하기 | 구퍼 | 2013.03.07 | 2722 |
7 | spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 | 총관리자 | 2016.06.09 | 2803 |
6 | Hive 사용법 및 쿼리 샘플코드 | 구퍼 | 2013.03.07 | 2991 |
5 | 의사분산모드에서 presto설치하기 | 총관리자 | 2014.03.31 | 3050 |
4 | Spark에서 Serializable관련 오류및 조치사항 | 총관리자 | 2017.04.21 | 4901 |
3 | Hive Query Examples from test code (2 of 2) | 총관리자 | 2014.03.26 | 5029 |
2 | hive 2.0.1 설치및 mariadb로 metastore 설정 | 총관리자 | 2016.06.03 | 5187 |
1 | insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 | 총관리자 | 2014.04.29 | 7129 |