메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Service Monitor에서 사용하는 kudu metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법으로 Cloudera Manager->Kudu->Configuration에서 

Metric Filter에 아래와 같은 json포맷으로 등록해준다. 

kudu등에서 metric정보를 너무 많이 추출하여 Service Monitor로 보내게 되면 지정된 시간내에 수집이나 데이터 rollup등의 작업을 할 수 없어 각종 chart library에서 특히 12h, 1d 데이터가 표시되지 않게 된다.(12h, 1d는 TEN_MINUTELY rollup데이터를 사용함)

그래서 수집되는 metric대상을 줄여서 이런 부하를 경감하기 위해서 blacklist를 설정하여 준다. 


{"filterType":"blacklist",

"metrics": [

"kudu_active_scanners",

"kudu_all_transactions_inflight",

....

"kudu_write_transactions_inflight"

]

}

번호 제목 날짜 조회 수
45 Hue Load Balancer를 L4로 L/B하는 경우는 L4쪽 도멘인으로 발행된 인증서를 TLS/SSL항목에 설정해주어야 한다. 2021.10.08 3999
44 kudu hms check 사용법(예시) 2021.10.22 4396
43 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 2021.10.22 4160
42 Query Status: Sender xxx.xxx.xxx.xxx timed out waiting for receiver fragment instance: 1234:cdsf, dest node: 10 의 오류 원인및 대응방안 2021.11.03 4229
41 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 90865
40 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 2022.01.12 4457
39 not leader of this config: current role FOLLOWER 오류 발생시 확인방법 2022.01.17 3940
38 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 2022.01.17 4320
37 Failed to write to server: (no server available): 2022.01.17 4135
36 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 4892
35 kudu rebalance수행 command예시 2022.01.17 5072
34 service name방식의 oracle을 메타정보 저장소로 사용할때 Hue Configuration설정하는 방법 2022.02.12 4607
33 [TLS]TLS용 사설 인증서 변경 혹은 신규 지정시 No trusted certificate found 오류 발생시 확인및 조치사항 2022.03.15 4353
32 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 2022.03.17 4735
31 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 2022.04.01 3152
30 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 2022.04.14 3249
29 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 4528
28 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 2022.05.13 4651
27 [TLS/SSL]Kudu Master 설정하기 2022.05.13 4289
26 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 4207
위로