메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kudu kudu의 내부 table명 변경하는 방법

gooper 2022.11.10 10:44 조회 수 : 22

create문장으로 kudu table을 변경후 alter table로 table명을 변경하면 impala metastore에 저장된 테이블 명만 변경되고 hive.table_params에 된 kudu정보중 param_key='kudu.table_name'으로 param_value컬럼에 저장된 값은 바뀌지 않는다.

이 값을 변경하기 위해서는 먼저 kudu table 명을 변경후에 hive.table_params테이블의 kudu table 정보를 update해 주어야 한다.

예를 들어 test_db.table_table_tmp을 create한 후 test_db.table_table로 변경하는 방법은 다음과 같다. 


1. kudu table rename

sudo -u kudu kinit -kt /var/lib/keytab/kudu.keytab kudu

sudo -u kudu kudu table rename_table master1.gooper.com:7051,master2.gooper.com:7051,master3.gooper.com:7051 impala::test_db.table_table_tmp impala::test_db.table_table


2. hive metastore정보 변경

update hive.table_params set param_value='impala::test_db.table_table' where param_key='kudu.table_name' and param_value like 'impala::test_db.table_table_tmp';


3. invalidate metadata문을 수행하여 변경 사항을 반영할 수 있게 해준다. 

invalidate metadata est_db.table_table;

번호 제목 글쓴이 날짜 조회 수
700 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. gooper 2023.03.10 85
699 [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항 gooper 2023.03.10 66
698 호출 url현황 gooper 2023.02.21 6
697 ./gradlew :composeDown 및 ./gradlew :composeUp 를 성공했을때의 메세지 gooper 2023.02.20 6
696 [ftgo_application]Unable to infer base url오류 발생시 조치방법 gooper 2023.02.20 1264
695 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified gooper 2023.02.02 106
694 [Kerberos]병렬 kinit 호출시 cache파일이 손상되어 Bad format in credentials cache 혹은 No credentials cache found 혹은 Internal credentials cache error 오류 발생시 gooper 2023.01.20 32
693 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 gooper 2023.01.17 15
692 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 gooper 2022.11.30 697
691 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 gooper 2022.11.10 29
» kudu의 내부 table명 변경하는 방법 gooper 2022.11.10 22
689 kerberos연동된 CDH 6.3.4에서 default realm값이 잘못된 상태에서 서비스 기동시 오류 gooper 2022.10.14 35
688 [impala]쿼리 수행중 발생하는 오류(due to memory pressure: the memory usage of this transaction, Failed to write to server) gooper 2022.10.05 67
687 [Kerberos인증] /var/log/krb5kdc.log파일 기준으로 인증요청(AS), 티켓확인(TGS)이 진행되는 로그 기록 gooper 2022.09.21 36
686 Oracle 12c DB의 LOB타입 컬럼이 있는 테이블을 import할 때 주의 할 사항 gooper 2022.09.14 167
685 [kerberos]Kerberos HA구성 참고 페이지 gooper 2022.08.31 15
684 [CDP7.1.7]Impala Query의 Memory Spilled 양은 ScratchFileUsedBytes값을 누적해서 구할 수 있다. gooper 2022.07.29 29
683 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 121
682 [Cloudera 6.3.4, Kudu]]Service Monitor에서 사용하는 metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법 gooper 2022.07.08 31
681 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) gooper 2022.07.04 75

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로