메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kudu table인 admin.hue_user_dept 테이블의 메타정보가 틀어진 경우에는 다음과 같이 조치한다. 
(Hue에서 alter table rename을 할때 HDFS폴더에 impala에게 권한이 없어 kudu table명은 변경되고 HDFS명 변경시 오류가 발생하면서 메타정보가 틀어지는 경우가 있음)

1. admin DB의 ID를 확인한다. 
select * from hive.dbs where name='admin';
--> 7973

2. hive.tbls에서 해당 테이블의 ID및 table명을 확인한다. 
select * from hive.tbls where tbl_name like '%hue_user_dept%' and db_id=7973;
--> 102504 1671852408 7973 0 hadoop USER 0 2941304 hue_user_dept EXTERNAL_TABLE 0 0

3. hive.table_params에서 kudu table정보를 확인한다.
select * from hive.table_params where param_key='kudu.table_name' and param_value like 'impala::admin.hue_user_dept%';
--> 102504 kudu.table_name impala::admin.hue_user_dept

4. 만일읭 사태를 대비하여 기존 테이블은 backup해둔다. 
create table hive.tbls_20231109 as select * from hive.tbls;
create table hive.table_params_20231109 as select * from hive.table_params;

5. hive.tbls정보를 update한다. 
update hive.tbls set tbl_name='hue_user_dept_old' where tbl_name ='hue_user_dept' and tbl_id=102504 and db_id=7973;

5. hive.table_params정보를 update한다. 
update hive.table_params set param_value='impala::admin.hue_user_dept_old' where param_key='kudu.table_name' and tbl_id=102504 and param_value like 'impala::admin.hue_user_dept';

*참고 : 
 hue에서 invalidate metadata admin.hue_user_dept_old; 를 수행해야 테이블이 정상적으로 보인다. 
번호 제목 글쓴이 날짜 조회 수
» kudu table와 impala(hive) table정보가 틀어져서 테이블을 읽지 못하는 경우(Error Loading Metadata) 조치방법 gooper 2023.11.10 25
13 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 gooper 2023.03.28 37
12 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) gooper 2023.03.16 537
11 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 123
10 [Cloudera 6.3.4, Kudu]]Service Monitor에서 사용하는 metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법 gooper 2022.07.08 31
9 [TLS/SSL]Kudu Tablet Server설정 총관리자 2022.05.13 35
8 [TLS/SSL]Kudu Master 설정하기 총관리자 2022.05.13 61
7 kudu rebalance수행 command예시 총관리자 2022.01.17 86
6 Kudu tablet이 FAILED일때 원인 확인 방법 총관리자 2022.01.17 90
5 Failed to write to server: (no server available): 총관리자 2022.01.17 32
4 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 총관리자 2022.01.17 181
3 not leader of this config: current role FOLLOWER 오류 발생시 확인방법 총관리자 2022.01.17 23
2 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 총관리자 2022.01.12 110
1 kudu hms check 사용법(예시) 총관리자 2021.10.22 69

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로