메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


broker에 메세지 전송을 요청했을때 처음에는 sda3(파티션1번)에 접속했으나 접속이 되지 않자 sda2로 자동 전환접속하여 메세지 전송을 처리완료함

이때의 topic정보를 보면 leader가 -1인데 이는 해당 노드의 kafka 브로커가 down된 상태임을 나타내므로 "./kafka-server-start.sh ../config/server-3.properties &"등의 명령으로 broker데몬을 기동시켜주고 topic정보를 확인하면 leader가 정상적으로 표시되며

아래와 같은 메세지는 나타나지 않는다.


---------------오류내용----------

-bash-4.1$ $HOME/spark/bin/spark-submit --master spark://sda1:7077,sda2:7077 --deploy-mode client --class com.gooper.icbms.sda.test.kafka.onem2m.content_instance.AvroOneM2MEmitter --jars sda-client-assembly-2.0.jar sda-client-assembly-2.0.jar

16/08/12 09:44:05 INFO VerifiableProperties: Verifying properties

16/08/12 09:44:05 INFO VerifiableProperties: Property metadata.broker.list is overridden to sda1:9092,sda2:9092,sda3:9092

16/08/12 09:44:05 INFO VerifiableProperties: Property partitioner.class is overridden to kafka.producer.DefaultPartitioner

16/08/12 09:44:05 INFO VerifiableProperties: Property request.required.acks is overridden to 1

16/08/12 09:44:05 INFO VerifiableProperties: Property serializer.class is overridden to kafka.serializer.DefaultEncoder

Send start (ContentInstance)......................

16/08/12 09:44:06 INFO ClientUtils$: Fetching metadata from broker BrokerEndPoint(2,sda3,9092) with correlation id 0 for 1 topic(s) Set(COL_CONTENT_INSTANCE)

16/08/12 09:44:06 INFO SyncProducer: Connected to sda3:9092 for producing

16/08/12 09:44:06 INFO SyncProducer: Disconnecting from sda3:9092

16/08/12 09:44:06 WARN ClientUtils$: Fetching topic metadata with correlation id 0 for topics [Set(COL_CONTENT_INSTANCE)] from broker [BrokerEndPoint(2,sda3,9092)] failed

java.nio.channels.ClosedChannelException

        at kafka.network.BlockingChannel.send(BlockingChannel.scala:110)

        at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75)

        at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74)

        at kafka.producer.SyncProducer.send(SyncProducer.scala:119)

        at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59)

        at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)

        at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:68)

        at kafka.utils.CoreUtils$.swallow(CoreUtils.scala:79)

        at kafka.utils.Logging$class.swallowError(Logging.scala:106)

        at kafka.utils.CoreUtils$.swallowError(CoreUtils.scala:51)

        at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:68)

        at kafka.producer.Producer.send(Producer.scala:77)

        at kafka.javaapi.producer.Producer.send(Producer.scala:33)

        at com.gooper.icbms.sda.test.kafka.onem2m.content_instance.AvroOneM2MEmitter.send(AvroOneM2MEmitter.java:62)

        at com.gooper.icbms.sda.test.kafka.onem2m.content_instance.AvroOneM2MEmitter.main(AvroOneM2MEmitter.java:71)

        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

        at java.lang.reflect.Method.invoke(Method.java:497)

        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:729)

        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185)

        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210)

        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124)

        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

16/08/12 09:44:06 INFO SyncProducer: Disconnecting from sda3:9092

16/08/12 09:44:06 INFO ClientUtils$: Fetching metadata from broker BrokerEndPoint(1,sda2,9092) with correlation id 0 for 1 topic(s) Set(COL_CONTENT_INSTANCE)

16/08/12 09:44:06 INFO SyncProducer: Connected to sda2:9092 for producing

16/08/12 09:44:06 INFO SyncProducer: Disconnecting from sda2:9092

16/08/12 09:44:06 WARN BrokerPartitionInfo: Error while fetching metadata       partition 1     leader: none    replicas:       isr:    isUnderReplicated: false for topic partition [COL_CONTENT_INSTANCE,1]: [class kafka.common.LeaderNotAvailableException]

16/08/12 09:44:06 INFO SyncProducer: Connected to sda2:9092 for producing

Send end(ContentInstance)......................

16/08/12 09:44:06 INFO Producer: Shutting down producer

16/08/12 09:44:06 INFO ProducerPool: Closing all sync producers

16/08/12 09:44:06 INFO SyncProducer: Disconnecting from sda2:9092

16/08/12 09:44:06 INFO SyncProducer: Disconnecting from sda1:9092

16/08/12 09:44:06 INFO Producer: Producer shutdown completed in 7 ms



------topic정보확인

-bash-4.1# ./kafka-topics.sh --describe --zookeeper sda1:2181 --topic COL_CONTENT_INSTANCE

Topic:COL_CONTENT_INSTANCE      PartitionCount:3        ReplicationFactor:1     Configs:

        Topic: COL_CONTENT_INSTANCE     Partition: 0    Leader: 2       Replicas: 2     Isr: 2

        Topic: COL_CONTENT_INSTANCE     Partition: 1    Leader: -1      Replicas: 3     Isr: 

        Topic: COL_CONTENT_INSTANCE     Partition: 2    Leader: 1       Replicas: 1     Isr: 1

번호 제목 글쓴이 날짜 조회 수
279 AIX 7.1에 Hadoop설치(정리중) 총관리자 2016.09.12 202
278 No broker partitions consumed by consumer thread오류 발생시 확인/조치할 사항 총관리자 2016.09.02 131
277 [Mybatis]Spring과 연동하지 않고 Java+Mybatis 형태의 프로그램 샘플소스 총관리자 2016.09.01 416
276 초기 오류(java.lang.NoSuchMethodError)에 따른 후속 작업에서 오류(java.lang.NoClassDefFoundError)가 발생되는 상황(quartz에서 주기적으로 작업시) 총관리자 2016.08.29 220
275 특정문자열이나 URI를 임의로 select 절에 지정하여 사용할때 사용하는 sparql 문장 총관리자 2016.08.25 46
274 로컬에 있는 jar파일을 지정하고 dependency로 가져오기 총관리자 2016.08.19 66
273 jena jar파일실행시 org.apache.jena.tdb.TDB.init에서 java.lang.NullPointerException발생시 조치사항 총관리자 2016.08.19 90
272 springframework를 이용한 war를 생성하는 build.gradle파일(참고용) 총관리자 2016.08.19 548
271 spark submit용 jar파일을 만드는 sbt 용 build.sbt설정 파일(참고용) 총관리자 2016.08.19 98
270 spark, kafka, mariadb, jena, springframework등을 이용하여 공통모듈을 jar로 만들기 위한 build.gradle파일(참고용) 총관리자 2016.08.19 535
269 kafka 0.9.0.1버젼의 producer와 kafka버젼이 0.10.0.1인 consumer가 서로 대화하는 모습 총관리자 2016.08.18 262
268 build.gradle을 pom.xml로 변환하는 방법 총관리자 2016.08.18 239
267 Jena는 기본적으로 multi thread환경을 지원하지 않는다. 총관리자 2016.08.16 82
» down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 총관리자 2016.08.12 172
265 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 총관리자 2016.08.11 78
264 jar파일의 dependency찾는 프로그램 총관리자 2016.08.11 46
263 compile할때와 exclude할때 대상을 표현하는 명칭이 다르므로 주의할것 총관리자 2016.08.10 437
262 외부 jar파일을 만들려고하는jar파일의 package로 포함하는 방법 총관리자 2016.08.10 58
261 servlet-api를 jar형태로 build할때 포함하지 말고 java 설치 위치의 jre/lib/ext에 복사하여 사용하는것이 좋다. 총관리자 2016.08.10 182
260 [Elephas] Jena Elephas를 이용하여 Spark에서 rdfTriples의 RDD를 만들고 RDD관련 작업하는 샘플소스 총관리자 2016.08.10 79

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로