메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Kudu의 metric수집 옵션이 활성화된 상태에서 Cloudera Manager의 Chart Builder를 이용하여 테이블별 사용량을 다음의 방법으로 알수 있는데 테이블명에 Schema명도 같이 있으므로 이를 이용하면 Schema별 사용량도 파악할 수 있다.


Chart Builder에서 쿼리에 select max(total_kudu_on_disk_size_across_kudu_replicas) where category=KUDU_TABLE해서 csv데이터를 저장하면 entityName, metricName, timestamp, value순서로 값이 추출된다.

(예, impala::test_db.test_table (Kudu), max(.....), 2022-07-14T01:21:14.214Z, 2345123)

추출된 데이터를 엑셀에 넣어서 ","를 기준을 기준으로 텍스트 나누기 하면 필요한 데이터를 얻을 수 있다.

또한 entityName에 포함된 schema를 "."를 기준으로 텍스트 나우기 하면 Schema및 테이블별로 사용량을 알 수도 있다. 


 


번호 제목 글쓴이 날짜 조회 수
14 kudu table와 impala(hive) table정보가 틀어져서 테이블을 읽지 못하는 경우(Error Loading Metadata) 조치방법 gooper 2023.11.10 25
13 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 gooper 2023.03.28 37
12 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) gooper 2023.03.16 537
» [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 123
10 [Cloudera 6.3.4, Kudu]]Service Monitor에서 사용하는 metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법 gooper 2022.07.08 31
9 [TLS/SSL]Kudu Tablet Server설정 총관리자 2022.05.13 35
8 [TLS/SSL]Kudu Master 설정하기 총관리자 2022.05.13 61
7 kudu rebalance수행 command예시 총관리자 2022.01.17 86
6 Kudu tablet이 FAILED일때 원인 확인 방법 총관리자 2022.01.17 90
5 Failed to write to server: (no server available): 총관리자 2022.01.17 32
4 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 총관리자 2022.01.17 181
3 not leader of this config: current role FOLLOWER 오류 발생시 확인방법 총관리자 2022.01.17 23
2 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 총관리자 2022.01.12 110
1 kudu hms check 사용법(예시) 총관리자 2021.10.22 69

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로