Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
spark 2.0.0 환경에서 spark-streaming-kafka_2.11을 사용시 현재 최신버젼이 1.6.3인데 이 버젼에서는 logging에 org.apache.spark.Logging클래스를 사용한다.
하지만 spark 2.0.0환경에서는 해당 클래스를 사용하지 않아서 발생하는 문제이다.
이때는 아래와 같이 spark-streaming-kafka-0-8_2.11를 artifactId로 지정해주면 문제없이 spark streaming application을 실행할 수있다.
<!-- dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka_2.11</artifactId> <version>1.6.3</version> <scope>compile</scope> </dependency -->
를
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> <version>2.0.0</version> <scope>compile</scope> </dependency>
로 바꿔준다.
