메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kudu [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법

gooper 2022.07.14 11:27 조회 수 : 3043

Kudu의 metric수집 옵션이 활성화된 상태에서 Cloudera Manager의 Chart Builder를 이용하여 테이블별 사용량을 다음의 방법으로 알수 있는데 테이블명에 Schema명도 같이 있으므로 이를 이용하면 Schema별 사용량도 파악할 수 있다.


Chart Builder에서 쿼리에 select max(total_kudu_on_disk_size_across_kudu_replicas) where category=KUDU_TABLE해서 csv데이터를 저장하면 entityName, metricName, timestamp, value순서로 값이 추출된다.

(예, impala::test_db.test_table (Kudu), max(.....), 2022-07-14T01:21:14.214Z, 2345123)

추출된 데이터를 엑셀에 넣어서 ","를 기준을 기준으로 텍스트 나누기 하면 필요한 데이터를 얻을 수 있다.

또한 entityName에 포함된 schema를 "."를 기준으로 텍스트 나우기 하면 Schema및 테이블별로 사용량을 알 수도 있다. 


 


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
750 엑셀에서 K ,M, G ,T 단위를 숫자로 변환 하는 수식 2025.04.09 179
749 [Shellscript]Impala view의 실제 참조 테이블 추출용 shellscript파일 2025.03.22 171
748 Failed to resolve 'acme-v02.api.letsencrypt.org' ([Errno -3] Temporary failure in name resolution)" 2024.11.27 817
747 Apache Kudu에서 동일한 이름의 테이블을 반복적으로 DROP → CREATE → INSERT하는 로직을 2분 간격으로 10회 수행할 때 발생할 수 있는 주요 이슈 2025.01.26 1176
746 운영계 하둡클러스터에 노드 4대를 EdgeNode로 추가하는 방법/절차 2025.01.12 1148
745 Oracle 10g 혹은 12c 를 19c로 Upgrade시 Cloudera Cluster작업에 필요한 작업 2025.01.12 1264
744 beeline을 이용한 impala JDBC 테스트 방법(Kerberos 설정된 상태임) 2024.11.29 835
743 외부에서 ImpalaJDBC42.jar를 통해서 Impala에 접속시 sessions정보 2024.11.26 693
742 [Kerberos]Kerberos authentication cache를 FILE로 지정해도 KCM으로 저장되는 경우 조치방법 2024.11.03 1491
741 How to Install Magento 2.4.7 on Ubuntu 24.04 2024.09.04 3309
740 [CDP7.1.7]Hive Replication수행시 Target Cluster에서 Specified catalog.database.table does not exist 오류 2024.05.08 3229
739 [Impala] alter table구문수행시 "WARNINGS: Impala does not have READ_WRITE access to path 'hdfs://nameservice1/DATA/Temp/DB/source/table01_ccd'" 발생시 조치 2024.04.26 1640
738 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 1852
737 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 2024.04.05 3216
736 [Active Directory] AD Kerberos보안 설정 변경 방법 (Maximum lifetime for user ticket, Maximum lifetime for user ticket renewal) 2024.03.12 3148
735 [CDP7.1.7]BDR작업후 오류로 Diagnostic Data를 수집하는 동안 "No content to map due to end-of-input at [Source: (String)""; line: 1, column: 0]" 오류 발생시 조치 2024.02.20 3663
734 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 2024.01.15 1494
733 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 3488
732 [CDP7.1.7][Replication]Table does not match version in getMetastore(). Table view original text mismatch 2024.01.02 3164
731 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 3150
쓰기 태그
위로