Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Spark+S2RDF queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항
실행문 : java -jar ./queryTranslator-1.1.0.jar -i ./test3/test3.sparql -o ./test3/test3.sparql -sd ./test3/statistics/ -sUB 0.2
==> java.lang.ArrayIndexOutOfBoundsException발생시 stat_vp.txt파일의 값이 tab으로 분리 되어 있는지 확인하고 tab으로 분리되어
있지 않으면 tab으로 분리 하고 저장해준다(vi에서 :set list 하면 tab문자와 줄끝 제어문자를 볼수 있다)
----------------------------------------오류메세지의 일부 --------------
inputFile- =================>./test3/test3.sparql
18:25:28 DEBUG Main :: inputFile-- =================>./test3/test3.sparql
18:25:28 DEBUG JenaIOEnvironment :: Failed to find configuration: location-mapping.ttl;location-mapping.rdf;location-mapping.n3;etc/location-mapping.rdf;etc/location-mapping.n3;etc/location-mapping.ttl
Exception occurred trying to read './test3/statistics//stat_vp.txt'.java.lang.ArrayIndexOutOfBoundsException: 3
at queryTranslator.SparkTableStatistics.readVPStatistic(SparkTableStatistics.java:210)
at queryTranslator.SparkTableStatistics.init(SparkTableStatistics.java:40)
at queryTranslator.Translator.translateQuery(Translator.java:122)
at queryTranslator.run.Main.main(Main.java:79)
VP STAT Size = 1
OS STAT Size = 0
SO STAT Size = 0
SS STAT Size = 4
THE NUMBER OF ALL SAVED (< ScaleUB) TRIPLES IS -> 3
THE NUMBER OF ALL SAVED (< ScaleUB) TABLES IS -> 1
TABLE-><http__//www.w3.org/1999/02/22-rdf-syntax-ns#type>
Exception in thread "main" java.lang.NullPointerException
at queryTranslator.SparkTableStatistics.determineBestCandidateTable(SparkTableStatistics.java:302)
at queryTranslator.op.SqlBGP.translate(SqlBGP.java:76)
at queryTranslator.SqlOpTranslator.visit(SqlOpTranslator.java:127)
at queryTranslator.op.SqlBGP.visit(SqlBGP.java:141)
at queryTranslator.SqlOpWalker.visit0(SqlOpWalker.java:78)
at queryTranslator.SqlOpVisitorByType.visit(SqlOpVisitorByType.java:62)
at queryTranslator.op.SqlBGP.visit(SqlBGP.java:141)
at queryTranslator.SqlOpWalker.visit1(SqlOpWalker.java:91)
at queryTranslator.SqlOpVisitorByType.visit(SqlOpVisitorByType.java:93)
at queryTranslator.op.SqlProject.visit(SqlProject.java:59)
at queryTranslator.SqlOpWalker.walkBottomUp(SqlOpWalker.java:68)
at queryTranslator.SqlOpTranslator.translate(SqlOpTranslator.java:73)
at queryTranslator.Translator.translateQuery(Translator.java:237)
at queryTranslator.run.Main.main(Main.java:79)
댓글 0
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
|---|---|---|---|---|
| 10 | S2RDF를 이용한 다른 버젼의 github링크 | 총관리자 | 2016.12.02 | 51 |
| 9 | DataSetCreator실행시 "Illegal character in fragment at index"오류가 나는 경우 조치방안 | 총관리자 | 2016.06.17 | 480 |
| 8 | 5건의 triple data를 이용하여 특정 작업 폴더에서 작업하는 방법/절차 | 총관리자 | 2016.06.16 | 36 |
| » | queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 | 총관리자 | 2016.06.16 | 58 |
| 6 | S2RDF를 실행부분만 추출하여 1건의 triple data를 HDFS에 등록, sparql을 sql로 변환, sql실행하는 방법및 S2RDF소스 컴파일 방법 | 총관리자 | 2016.06.15 | 410 |
| 5 | S2RDF모듈의 실행부분만 추출하여 별도록 실행하는 방법(draft) | 총관리자 | 2016.06.14 | 36 |
| 4 | --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 | 총관리자 | 2016.05.27 | 141 |
| 3 | DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 | 총관리자 | 2016.05.27 | 53 |
| 2 | python실행시 ValueError: zero length field name in format오류 해결방법 | 총관리자 | 2016.05.27 | 43 |
| 1 |
S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함)
[2]  | 총관리자 | 2016.05.27 | 76 |