Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Kudu의 metric수집 옵션이 활성화된 상태에서 Cloudera Manager의 Chart Builder를 이용하여 테이블별 사용량을 다음의 방법으로 알수 있는데 테이블명에 Schema명도 같이 있으므로 이를 이용하면 Schema별 사용량도 파악할 수 있다.
Chart Builder에서 쿼리에 select max(total_kudu_on_disk_size_across_kudu_replicas) where category=KUDU_TABLE해서 csv데이터를 저장하면 entityName, metricName, timestamp, value순서로 값이 추출된다.
(예, impala::test_db.test_table (Kudu), max(.....), 2022-07-14T01:21:14.214Z, 2345123)
추출된 데이터를 엑셀에 넣어서 ","를 기준을 기준으로 텍스트 나누기 하면 필요한 데이터를 얻을 수 있다.
또한 entityName에 포함된 schema를 "."를 기준으로 텍스트 나우기 하면 Schema및 테이블별로 사용량을 알 수도 있다.
