메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


아래의 소스로 테스트할때 textFile() 부분에서 java.net.URISyntaxException가 발생하는데 이때는

아래 주석부분에 있는것처럼 sparkConf.set("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse"); 를 추가하여 준다.


---------테스트 소스중 일부 --------

SparkConf sparkConf=new SparkConf().setAppName("SparkJavaTest");
   sparkConf.setMaster("local[*]");
   //sparkConf.set("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse");

   JavaSparkContext ctx=new JavaSparkContext(sparkConf);
   SQLContext sqlContext = new SQLContext(ctx);       

   JavaRDD<String> dataCollection=ctx.textFile("file:///C:/tmp/sparktest/a.txt");


--------------------오류내용-----------------------

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:C:/dev/workspace/sdaf/sda-client/spark-warehouse
 at org.apache.hadoop.fs.Path.initialize(Path.java:205)
 at org.apache.hadoop.fs.Path.<init>(Path.java:171)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeQualifiedPath(SessionCatalog.scala:114)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.createDatabase(SessionCatalog.scala:145)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.<init>(SessionCatalog.scala:89)
 at org.apache.spark.sql.internal.SessionState.catalog$lzycompute(SessionState.scala:95)
 at org.apache.spark.sql.internal.SessionState.catalog(SessionState.scala:95)
 at org.apache.spark.sql.internal.SessionState$$anon$1.<init>(SessionState.scala:112)
 at org.apache.spark.sql.internal.SessionState.analyzer$lzycompute(SessionState.scala:112)
 at org.apache.spark.sql.internal.SessionState.analyzer(SessionState.scala:111)
 at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:49)
 at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:64)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:542)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:302)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:315)
 at org.apache.spark.sql.SQLContext.createDataFrame(SQLContext.scala:440)
 at com.gooper.icbms.sda.kafka.onem2m.SparkJavaTest.main(SparkJavaTest.java:106)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:C:/dev/workspace/sdaf/sda-client/spark-warehouse
 at java.net.URI.checkPath(URI.java:1823)
 at java.net.URI.<init>(URI.java:745)
 at org.apache.hadoop.fs.Path.initialize(Path.java:202)
 ... 16 more

번호 제목 글쓴이 날짜 조회 수
21 spark 2.0.0의 api를 이용하는 예제 프로그램 총관리자 2017.03.15 199
20 Scala에서 countByWindow를 이용하기(예제) 총관리자 2018.03.08 235
19 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 총관리자 2017.07.26 260
18 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 총관리자 2017.04.19 284
17 Spark에서 KafkaUtils.createStream()를 이용하여 이용하여 kafka topic에 접근하여 객채로 저장된 값을 가져오고 처리하는 예제 소스 총관리자 2017.04.26 292
16 spark-submit으로 spark application실행하는 다양한 방법 총관리자 2016.05.25 303
15 Apache Spark와 Drools를 이용한 CEP구현 테스트 총관리자 2016.07.15 342
14 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
13 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 총관리자 2016.06.09 455
12 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 총관리자 2016.10.17 469
11 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 총관리자 2018.02.01 517
10 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 총관리자 2016.05.27 539
9 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 551
8 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 567
7 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 총관리자 2016.07.13 630
6 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030
5 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 총관리자 2018.01.16 1115
4 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
3 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 총관리자 2016.10.28 1891
2 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 총관리자 2016.06.09 2802

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로