메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


아래의 소스로 테스트할때 textFile() 부분에서 java.net.URISyntaxException가 발생하는데 이때는

아래 주석부분에 있는것처럼 sparkConf.set("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse"); 를 추가하여 준다.


---------테스트 소스중 일부 --------

SparkConf sparkConf=new SparkConf().setAppName("SparkJavaTest");
   sparkConf.setMaster("local[*]");
   //sparkConf.set("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse");

   JavaSparkContext ctx=new JavaSparkContext(sparkConf);
   SQLContext sqlContext = new SQLContext(ctx);       

   JavaRDD<String> dataCollection=ctx.textFile("file:///C:/tmp/sparktest/a.txt");


--------------------오류내용-----------------------

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:C:/dev/workspace/sdaf/sda-client/spark-warehouse
 at org.apache.hadoop.fs.Path.initialize(Path.java:205)
 at org.apache.hadoop.fs.Path.<init>(Path.java:171)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeQualifiedPath(SessionCatalog.scala:114)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.createDatabase(SessionCatalog.scala:145)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.<init>(SessionCatalog.scala:89)
 at org.apache.spark.sql.internal.SessionState.catalog$lzycompute(SessionState.scala:95)
 at org.apache.spark.sql.internal.SessionState.catalog(SessionState.scala:95)
 at org.apache.spark.sql.internal.SessionState$$anon$1.<init>(SessionState.scala:112)
 at org.apache.spark.sql.internal.SessionState.analyzer$lzycompute(SessionState.scala:112)
 at org.apache.spark.sql.internal.SessionState.analyzer(SessionState.scala:111)
 at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:49)
 at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:64)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:542)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:302)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:315)
 at org.apache.spark.sql.SQLContext.createDataFrame(SQLContext.scala:440)
 at com.gooper.icbms.sda.kafka.onem2m.SparkJavaTest.main(SparkJavaTest.java:106)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:C:/dev/workspace/sdaf/sda-client/spark-warehouse
 at java.net.URI.checkPath(URI.java:1823)
 at java.net.URI.<init>(URI.java:745)
 at org.apache.hadoop.fs.Path.initialize(Path.java:202)
 ... 16 more

번호 제목 글쓴이 날짜 조회 수
90 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 총관리자 2016.06.03 1141
89 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 총관리자 2016.06.03 760
88 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 132
87 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 총관리자 2016.06.09 456
86 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 총관리자 2016.06.09 2802
85 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 총관리자 2016.06.09 167
84 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 총관리자 2016.07.13 630
83 Apache Spark와 Drools를 이용한 CEP구현 테스트 총관리자 2016.07.15 342
82 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 126
81 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 총관리자 2016.09.24 78
80 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 총관리자 2016.09.25 1226
79 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 총관리자 2016.09.25 496
78 AIX 7.1에서 hive실행시 "hive: line 86: readlink: command not found" 오류가 발생시 임시 조치사항 총관리자 2016.09.25 234
77 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 총관리자 2016.10.17 469
76 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 총관리자 2016.10.28 1891
75 How-to: Tune Your Apache Spark Jobs (Part 2) file 총관리자 2016.10.31 77
74 참고할만한 spark예제를 설명하는 사이트 총관리자 2016.11.11 98
73 spark notebook 0.7.0설치및 설정 총관리자 2016.11.14 160
» spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 총관리자 2017.01.12 106
71 spark에서 hive table을 읽어 출력하는 예제 소스 총관리자 2017.03.09 35

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로