spark 2.0.0 환경에서 spark-streaming-kafka_2.11을 사용시 현재 최신버젼이 1.6.3인데 이 버젼에서는 logging에 org.apache.spark.Logging클래스를 사용한다.

하지만 spark 2.0.0환경에서는 해당 클래스를 사용하지 않아서 발생하는 문제이다.

이때는 아래와 같이 spark-streaming-kafka-0-8_2.11를 artifactId로 지정해주면 문제없이 spark streaming application을 실행할 수있다.

<!-- dependency>      <groupId>org.apache.spark</groupId>      <artifactId>spark-streaming-kafka_2.11</artifactId>      <version>1.6.3</version>      <scope>compile</scope>    </dependency -->

를 

 <dependency>      <groupId>org.apache.spark</groupId>      <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>      <version>2.0.0</version>      <scope>compile</scope>    </dependency>

로 바꿔준다.