Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
kudu table인 admin.hue_user_dept 테이블의 메타정보가 틀어진 경우에는 다음과 같이 조치한다.
(Hue에서 alter table rename을 할때 HDFS폴더에 impala에게 권한이 없어 kudu table명은 변경되고 HDFS명 변경시 오류가 발생하면서 메타정보가 틀어지는 경우가 있음)
1. admin DB의 ID를 확인한다.
select * from hive.dbs where name='admin';
--> 7973
2. hive.tbls에서 해당 테이블의 ID및 table명을 확인한다.
select * from hive.tbls where tbl_name like '%hue_user_dept%' and db_id=7973;
--> 102504 1671852408 7973 0 hadoop USER 0 2941304 hue_user_dept EXTERNAL_TABLE 0 0
3. hive.table_params에서 kudu table정보를 확인한다.
select * from hive.table_params where param_key='kudu.table_name' and param_value like 'impala::admin.hue_user_dept%';
--> 102504 kudu.table_name impala::admin.hue_user_dept
4. 만일읭 사태를 대비하여 기존 테이블은 backup해둔다.
create table hive.tbls_20231109 as select * from hive.tbls;
create table hive.table_params_20231109 as select * from hive.table_params;
5. hive.tbls정보를 update한다.
update hive.tbls set tbl_name='hue_user_dept_old' where tbl_name ='hue_user_dept' and tbl_id=102504 and db_id=7973;
5. hive.table_params정보를 update한다.
update hive.table_params set param_value='impala::admin.hue_user_dept_old' where param_key='kudu.table_name' and tbl_id=102504 and param_value like 'impala::admin.hue_user_dept';
*참고 :
hue에서 invalidate metadata admin.hue_user_dept_old; 를 수행해야 테이블이 정상적으로 보인다.