메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용하여 병렬로 수집하는 방법설명


https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example

번호 제목 글쓴이 날짜 조회 수
117 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 총관리자 2015.04.30 860
116 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 총관리자 2015.04.30 227
115 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 총관리자 2015.04.29 1047
114 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
113 zookeeper 3.4.6 설치(3대) 총관리자 2015.04.28 1209
112 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 총관리자 2015.04.27 322
111 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2015.04.24 19127
110 scan의 startrow, stoprow지정하는 방법 총관리자 2015.04.08 375
109 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 총관리자 2015.04.02 701
» kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 총관리자 2015.03.31 248
107 Using The ZooKeeper CLI에서 zkCli의 위치 총관리자 2014.11.02 880
106 [번역] solr 검색 엔진 튜토리얼 총관리자 2014.10.07 441
105 solr vs elasticsearch 비교2 총관리자 2014.09.29 1276
104 solr설치및 적용관련 file 총관리자 2014.09.27 2123
103 solr에서 한글사용시 주의점 총관리자 2014.09.26 599
102 RHadoop을 통해서 웹사이트의 방문자수를 예측하는 방법 총관리자 2014.09.26 2007
101 로그 파일에 대해 Elasticsearch 사용하기 총관리자 2014.09.25 1121
100 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 총관리자 2014.09.25 1141
99 hadoop 기반 문서 검색 총관리자 2014.09.25 957
98 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 총관리자 2014.09.25 948

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로