Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Service Monitor에서 사용하는 kudu metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법으로 Cloudera Manager->Kudu->Configuration에서
Metric Filter에 아래와 같은 json포맷으로 등록해준다.
kudu등에서 metric정보를 너무 많이 추출하여 Service Monitor로 보내게 되면 지정된 시간내에 수집이나 데이터 rollup등의 작업을 할 수 없어 각종 chart library에서 특히 12h, 1d 데이터가 표시되지 않게 된다.(12h, 1d는 TEN_MINUTELY rollup데이터를 사용함)
그래서 수집되는 metric대상을 줄여서 이런 부하를 경감하기 위해서 blacklist를 설정하여 준다.
{"filterType":"blacklist",
"metrics": [
"kudu_active_scanners",
"kudu_all_transactions_inflight",
....
"kudu_write_transactions_inflight"
]
}
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
10 | Hive java connection 설정 | 구퍼 | 2013.04.01 | 2013 |
9 | banana pi에 hive 0.13.1+mysql(metastore)설치 | 총관리자 | 2014.09.09 | 2406 |
8 | Hive+mysql 설치 및 환경구축하기 | 구퍼 | 2013.03.07 | 2722 |
7 | spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 | 총관리자 | 2016.06.09 | 2803 |
6 | Hive 사용법 및 쿼리 샘플코드 | 구퍼 | 2013.03.07 | 2991 |
5 | 의사분산모드에서 presto설치하기 | 총관리자 | 2014.03.31 | 3050 |
4 | Spark에서 Serializable관련 오류및 조치사항 | 총관리자 | 2017.04.21 | 4901 |
3 | Hive Query Examples from test code (2 of 2) | 총관리자 | 2014.03.26 | 5030 |
2 | hive 2.0.1 설치및 mariadb로 metastore 설정 | 총관리자 | 2016.06.03 | 5187 |
1 | insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 | 총관리자 | 2014.04.29 | 7129 |