메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용

총관리자 2015.03.31 00:14 조회 수 : 4088

kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용하여 병렬로 수집하는 방법설명


https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
112 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 2015.04.27 4589
111 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 2015.04.24 22882
110 scan의 startrow, stoprow지정하는 방법 2015.04.08 5255
109 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 2015.04.02 4048
» kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 2015.03.31 4088
107 Using The ZooKeeper CLI에서 zkCli의 위치 2014.11.02 4437
106 [번역] solr 검색 엔진 튜토리얼 2014.10.07 3873
105 solr vs elasticsearch 비교2 2014.09.29 3895
104 solr설치및 적용관련 file 2014.09.27 4969
103 solr에서 한글사용시 주의점 2014.09.26 3086
102 RHadoop을 통해서 웹사이트의 방문자수를 예측하는 방법 2014.09.26 4329
101 로그 파일에 대해 Elasticsearch 사용하기 2014.09.25 6031
100 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 2014.09.25 3728
99 hadoop 기반 문서 검색 2014.09.25 3348
98 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 2014.09.25 3426
97 lateral view 예제 2014.09.18 4025
96 root가 localhost에서 mysql로 접근하지 못하는 경우의 해결방법(패스워드) 2014.09.10 4955
95 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 2014.09.10 10177
94 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 2014.09.10 4811
93 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 4949
쓰기 태그
위로