메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kafka 운영중인 상태에서 kafka topic삭제하고 재생성하여 처리되지 않은 메세지 모두 삭제하기

총관리자 2016.10.24 11:06 조회 수 : 4245

1. kafka broker의 server.properties파일에 다음 옵션을 설정하고 broker를 재기동한다.
delete.topic.enable=true

2. 다음의 명령으로 원하는 topic(예, test)을 삭제한다.
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

3. topic을 재생성한다.
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test

4. topic을 지우고 재생성한 상태에서 consumer프로그램을 돌리면 아래와 같은 오류가 발생하면서 재설정된다.

------오류내용-------------
[2016-10-24 10:43:12,735] [utils.Logging$class] [error(#97)] [ERROR] [ConsumerFetcherThread-AvroOneM2MDataSubscribe_sda1-1477273392365-4e4cbb22-0-1], Current offset 109883 for partition [COL_ONEM2M,1] out of range; r
eset offset to 0
[2016-10-24 10:43:12,735] [utils.Logging$class] [error(#97)] [ERROR] [ConsumerFetcherThread-AvroOneM2MDataSubscribe_sda1-1477273392365-4e4cbb22-0-3], Current offset 127067 for partition [COL_ONEM2M,0] out of range; r
eset offset to 0
[2016-10-24 10:43:12,735] [utils.Logging$class] [error(#97)] [ERROR] [ConsumerFetcherThread-AvroOneM2MDataSubscribe_sda1-1477273392365-4e4cbb22-0-2], Current offset 116344 for partition [COL_ONEM2M,2] out of range; r
eset offset to 0
이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
307 [CDP7.1.7]EncryptionZone에 table생성및 권한 테스트 2023.09.26 4580
306 [TLS]TLS용 사설 인증서 변경 혹은 신규 지정시 No trusted certificate found 오류 발생시 확인및 조치사항 2022.03.15 4577
305 hbase가 기동시키는 zookeeper에서 받아드리는 ip가 IPv6로 사용되는 경우가 있는데 이를 IPv4로 강제적용하는 방법 2015.05.08 4574
304 mongodb aggregation query를 Java code로 변환한 샘플 2016.12.15 4572
303 column family삭제시 Column family 'delete' does not exist오류 발생하는 경우 2014.04.14 4571
302 [2.7.2] distribute-exclude.sh사용할때 ssh 포트변경에 따른 오류발생시 조치사항 2018.01.02 4570
301 kudu table와 impala(hive) table정보가 틀어져서 테이블을 읽지 못하는 경우(Error Loading Metadata) 조치방법 2023.11.10 4567
300 missing block및 관련 파일명 찾는 명령어 2021.02.20 4567
299 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 4563
298 [Cloudera 6.3.4, Kudu]]Service Monitor에서 사용하는 metric중에 일부를 blacklist로 설정하여 모니터링 정보 수집 제외하는 방법 2022.07.08 4562
297 [DBeaver 4.3.0]import/export시 "Client home is not specified for connection" 오류발생시 조치사항 2017.12.21 4561
296 oozie가 말하는 start시간은..서버에서 확인되는 시간이 아닙니다. 2014.05.14 4559
295 [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 2023.07.17 4550
294 update 샘플 2018.03.12 4546
293 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 2016.07.08 4540
292 [CDP7.1.7]Hive Replication수행시 Target Cluster에서 Specified catalog.database.table does not exist 오류 2024.05.08 4538
291 json serde사용법 2014.04.17 4536
290 [CDP7.1.7]Hive Replication수행중 Specified catalog.database.table does not exist : hive.db명.table명 오류 발생시 조치방법 2024.04.05 4528
289 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 2022.01.14 4528
288 hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail 2015.06.11 4526
쓰기 태그
위로