메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


아래의 소스로 테스트할때 textFile() 부분에서 java.net.URISyntaxException가 발생하는데 이때는

아래 주석부분에 있는것처럼 sparkConf.set("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse"); 를 추가하여 준다.


---------테스트 소스중 일부 --------

SparkConf sparkConf=new SparkConf().setAppName("SparkJavaTest");
   sparkConf.setMaster("local[*]");
   //sparkConf.set("spark.sql.warehouse.dir", "file:///tmp/spark-warehouse");

   JavaSparkContext ctx=new JavaSparkContext(sparkConf);
   SQLContext sqlContext = new SQLContext(ctx);       

   JavaRDD<String> dataCollection=ctx.textFile("file:///C:/tmp/sparktest/a.txt");


--------------------오류내용-----------------------

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: file:C:/dev/workspace/sdaf/sda-client/spark-warehouse
 at org.apache.hadoop.fs.Path.initialize(Path.java:205)
 at org.apache.hadoop.fs.Path.<init>(Path.java:171)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.makeQualifiedPath(SessionCatalog.scala:114)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.createDatabase(SessionCatalog.scala:145)
 at org.apache.spark.sql.catalyst.catalog.SessionCatalog.<init>(SessionCatalog.scala:89)
 at org.apache.spark.sql.internal.SessionState.catalog$lzycompute(SessionState.scala:95)
 at org.apache.spark.sql.internal.SessionState.catalog(SessionState.scala:95)
 at org.apache.spark.sql.internal.SessionState$$anon$1.<init>(SessionState.scala:112)
 at org.apache.spark.sql.internal.SessionState.analyzer$lzycompute(SessionState.scala:112)
 at org.apache.spark.sql.internal.SessionState.analyzer(SessionState.scala:111)
 at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:49)
 at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:64)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:542)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:302)
 at org.apache.spark.sql.SparkSession.createDataFrame(SparkSession.scala:315)
 at org.apache.spark.sql.SQLContext.createDataFrame(SQLContext.scala:440)
 at com.gooper.icbms.sda.kafka.onem2m.SparkJavaTest.main(SparkJavaTest.java:106)
Caused by: java.net.URISyntaxException: Relative path in absolute URI: file:C:/dev/workspace/sdaf/sda-client/spark-warehouse
 at java.net.URI.checkPath(URI.java:1823)
 at java.net.URI.<init>(URI.java:745)
 at org.apache.hadoop.fs.Path.initialize(Path.java:202)
 ... 16 more

번호 제목 글쓴이 날짜 조회 수
319 Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 gooper 2023.05.19 90
318 It is indirectly referenced from required .class files 오류 발생시 조치방법 총관리자 2017.03.09 93
317 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 총관리자 2018.03.16 93
316 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 총관리자 2022.05.13 93
315 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 총관리자 2016.08.02 97
314 참고할만한 spark예제를 설명하는 사이트 총관리자 2016.11.11 98
313 Hue Load Balancer를 L4로 L/B하는 경우는 L4쪽 도멘인으로 발행된 인증서를 TLS/SSL항목에 설정해주어야 한다. 총관리자 2021.10.08 101
312 [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. gooper 2022.06.10 105
311 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 총관리자 2016.11.01 106
» spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 총관리자 2017.01.12 106
309 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified gooper 2023.02.02 106
308 impala external 테이블 생성시 컬럼과 라인 구분자를 지정하여 테이블 생성하는 예시 총관리자 2020.02.20 107
307 hue.axes_accessattempt테이블 데이터 샘플 총관리자 2020.02.10 108
306 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 총관리자 2022.01.12 109
305 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 총관리자 2018.04.20 110
304 Impala daemon기동시 "Could not create temporary timezone file"오류 발생시 조치사항 총관리자 2018.03.29 113
303 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다. 총관리자 2019.05.20 114
302 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 117
301 tablet별 disk사용량 확인하는 방법 총관리자 2021.08.27 118
300 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 총관리자 2016.09.24 119

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로