메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


0. S2RDF를 주요 실행부분만 추출하여 1건의 triple data를 HDFS에 등록하고 sparql을 sql로 변환하여 sql실행하는 방법과 
  S2RDF소스를 컴파일 방법을 설명한다.

1. download및 압축풀기
  가. 다운로드 : http://dbis.informatik.uni-freiburg.de/forschung/projekte/DiPoS/S2RDF.html
  나. 파일 : S2RDF_v1.1.tar파일을 다운로드 함 

2. upload(/home/hadoop밑에 아래 폴더를 업로드함)
 가. DataSetCreator폴더
-rw-rw-r--. 1 hadoop hadoop     0 2016-06-14 16:48 DataBaseCreator.err (DataSetCreator.py실행시 생섣됨)
-rw-rw-r--. 1 hadoop hadoop  1288 2016-06-14 16:49 DataBaseCreator.log (DataSetCreator.py실행시 생섣됨)
-rw-rw-r--. 1 hadoop hadoop  4442 2016-06-02 16:49 DataSetCreator.py
-rw-rw-r--. 1 hadoop hadoop    23 2015-08-17 17:08 README.md
-rw-rw-r--. 1 hadoop hadoop 30785 2016-06-09 15:51 datasetcreator_2.10-1.1.jar (DataSetCreator.py를 실행하기 위해서 dtarget폴더밑에 생성되는 atasetcreator_2.10-1.1.jar파일을 이곳에 복사함)
drwxrwxr-x. 5 hadoop hadoop  4096 2016-06-15 18:35 S2RDF_DataSetCreator (소스파일 폴더)

* DataSetCreator/S2RDF_DataSetCreator의 하위폴더
drwxrwxr-x. 3 hadoop hadoop  4096 2016-05-31 18:34 project
-rw-rw-r--. 1 hadoop hadoop   400 2016-06-01 22:27 project.sbt (sbt용 빌드정보파일)
drwxrwxr-x. 3 hadoop hadoop  4096 2016-05-30 15:55 src (DatasetCreator의 scala소스파일)
drwxrwxr-x. 7 hadoop hadoop  4096 2016-05-31 11:20 target (sbt package명령 실행시 생섬됨)

 나. QueryTranslator폴더
-rw-rw-r--.  1 hadoop hadoop 1220 2016-05-26 18:22 README.txt
drwxrwxr-x.  5 hadoop hadoop 4096 2016-06-15 11:11 S2RDF_QueryTranslator
drwxrwxr-x.  7 hadoop hadoop 4096 2016-06-13 15:31 WatDivQuerySet  (WatDiv테스트 쿼리셑)
drwxrwxr-x. 11 hadoop hadoop 4096 2016-06-10 09:40 YagoQuerySet    (Yago테스트 쿼리셑)

* QueryTranslator/S2RDF_QueryTranslator의 하위폴더 
drwxrwxr-x. 3 hadoop hadoop     4096 2016-06-13 15:36 data (QueryTranslator테스트용 sparql등)
drwxrwxr-x. 2 hadoop hadoop     4096 2016-05-26 18:46 lib
-rw-rw-r--. 1 hadoop hadoop 20406370 2016-06-15 11:11 queryTranslator-1.1.0.jar(초기 제공 jar파일)
drwxrwxr-x. 3 hadoop hadoop     4096 2016-05-26 18:46 src (QueryTranslator의 java소스파일)

 다. QueryExecutor폴더
-rw-rw-r--. 1 hadoop hadoop     0 2016-06-13 16:04 QueryExecutor.err   (QueryExecutor.py실행시 생성됨)
-rw-rw-r--. 1 hadoop hadoop  7014 2016-06-13 10:26 QueryExecutor.log   (QueryExecutor.py실행시 생성됨)
-rw-rw-r--. 1 hadoop hadoop  3022 2016-06-13 10:25 QueryExecutor.py
drwxrwxr-x. 7 hadoop hadoop  4096 2016-06-10 15:30 S2RDF_QueryExecutor (소스파일 폴더)
-rw-rw-r--. 1 hadoop hadoop 44399 2016-06-15 16:35 queryexecutor_2.10-1.1.jar (QueryExecutor.py실행시 필요한 jar파일을 이곳에 복사, 이후 소스 변경시컴파일후 이곳으로 복사하여 사용함)
drwxrwxr-x. 3 hadoop hadoop  4096 2016-06-15 11:35 test2 (테스트 목적으로 임의로 만든 폴더임, 테스트용 triple파일(test2.sparql) 및 DatasetCreator실행 결과파일등이 위치 하는곳으로 DataBaseCreator, QueryTranslator및 QueryExecutor가 이곳을 기준으로 실행됨)

* QueryExecutor/S2RDF_QueryExecutor의 하위폴더
drwxrwxr-x. 4 hadoop hadoop  4096 2016-06-10 15:27 Project
drwxrwxr-x. 2 hadoop hadoop  4096 2016-06-10 15:26 bin
drwxrwxr-x. 3 hadoop hadoop  4096 2016-06-10 15:30 project
-rw-rw-r--. 1 hadoop hadoop   219 2016-04-04 22:44 project.sbt (QueryExecutor의 빌드 정보파일)
-rw-rw-r--. 1 hadoop hadoop 36046 2016-06-14 13:19 queryexecutor_2.10-1.1.jar (초기 제공되는 jar파일)
drwxrwxr-x. 4 hadoop hadoop  4096 2016-06-10 15:27 src (QueryExecutor의 scala소스파일)
drwxrwxr-x. 5 hadoop hadoop  4096 2016-06-10 15:31 target (sbt package실행시 생성되는 폴더)

* test2의 하위폴더(테스트 목적으로 임으로 생성함)
drwxrwxr-x. 2 hadoop hadoop 4096 2016-06-14 15:48 statistics
-rw-rw-r--. 1 hadoop hadoop   77 2016-06-14 15:50 test2.sparql (테스트용 triple data파일)
-rw-rw-r--. 1 hadoop hadoop  308 2016-06-15 11:11 test2.sparql.log (QueryTranslator실행시 생성됨)
-rw-rw-r--. 1 hadoop hadoop  346 2016-06-15 11:30 test2.sparql.sql (QueryTranslator실행 결과로 생성됨)

* test2/statistics폴더의 하위
-rw-rw-r--. 1 hadoop hadoop 200 2016-06-14 15:45 stat_os.txt (DatasetCreator실행의 결과로 생성됨)
-rw-rw-r--. 1 hadoop hadoop 200 2016-06-14 15:45 stat_so.txt (DatasetCreator실행의 결과로 생성됨)
-rw-rw-r--. 1 hadoop hadoop 317 2016-06-14 15:44 stat_ss.txt (DatasetCreator실행의 결과로 생성됨)
-rw-rw-r--. 1 hadoop hadoop 261 2016-06-14 15:44 stat_vp.txt (DatasetCreator실행의 결과로 생성됨)

3. triple data(test2.nq)를 이용하여 HDFS에 데이타 생성
(등록하려는 triple data(test2.nq)는 HDFS상의 s2rdf폴더 밑에 존재 해야하고 /home/hadoop/DataSetCreator폴더 밑에서 아래의 4가지 명령을 실행함)
가.. Generate Vertical Partitioning
$HOME/spark/bin/spark-submit --driver-memory 1g --class runDriver --master yarn  --executor-memory 1g --deploy-mode cluster ./datasetcreator_2.10-1.1.jar s2rdf/ test2.nq VP 0.2
==> 실행되는 서버에 /tmp/stat_vp.txt가 만들어짐, 이것을 /home/hadoop/QueryExecutor/test2/statistics에 복사함

나. Generate Exteded Vertical Partitioning subset SO
$HOME/spark/bin/spark-submit --driver-memory 1g --class runDriver --master yarn  --executor-memory 1g --deploy-mode cluster ./datasetcreator_2.10-1.1.jar s2rdf/ test2.nq SO 0.2 
==> 실행되는 서버에 /tmp/stat_so.txt가 만들어짐, 이것을 /home/hadoop/QueryExecutor/test2/statistics에 복사함

다. Generate Exteded Vertical Partitioning subset OS
$HOME/spark/bin/spark-submit --driver-memory 1g --class runDriver --master yarn  --executor-memory 1g --deploy-mode cluster ./datasetcreator_2.10-1.1.jar s2rdf/ test2.nq OS 0.2
==> 실행되는 서버에 /tmp/stat_os.txt가 만들어짐, 이것을 /home/hadoop/QueryExecutor/test2/statistics에 복사함

라. Generate Exteded Vertical Partitioning subset SS
$HOME/spark/bin/spark-submit --driver-memory 1g --class runDriver --master yarn  --executor-memory 1g --deploy-mode cluster ./datasetcreator_2.10-1.1.jar s2rdf/ test2.nq SS 0.2
==> 실행되는 서버에 /tmp/stat_ss.txt가 만들어짐, 이것을 /home/hadoop/QueryExecutor/test2/statistics에 복사함

4. sparql을 sql로 변환
(DataSetCreator과정을 통해서 만들어진 통계정보는 /home/hadoop/QueryExecutor/test2/statistics폴더 밑에 있어야 하며 이 통계정보를 이용하여 ./test2/test2.sparql파일을 sql파일로 변환하여 ./test2/test2.sparql.sql로 저장함.
/home/hadoop/QueryTranslator/S2RDF_QueryTranslator폴더 밑에서 아래의 명령을 실행함)

java -jar /home/hadoop/QueryTranslator/S2RDF_QueryTranslator/queryTranslator-1.1.jar -i ./test2/test2.sparql -o ./test2/test2.sparql -sd ./test2/statistics/ -sUB 0.2

====>실행결과
VP STAT Size = 86
OS STAT Size = 353
SO STAT Size = 353
SS STAT Size = 1702
THE NUMBER OF ALL SAVED (< ScaleUB) TRIPLES IS -> 1311014421
THE NUMBER OF ALL SAVED (< ScaleUB) TABLES IS -> 2127
TABLE-><gr__offers>
TABLE-><foaf__homepage>
TABLE-><sorg__author>
TABLE-><wsdbm__friendOf>
TABLE-><wsdbm__likes>
TABLE-><sorg__language>
TABLE-><rev__hasReview>
TABLE-><rev__reviewer>
TABLE-><wsdbm__follows>
TABLE-><gr__includes>

5. QueryExecutor로 변환된 sql파일 실행
(/home/hadoop/QueryExecutor폴더 밑에서 실행)

$HOME/spark/bin/spark-submit --driver-memory 2g --class runDriver --master yarn  --executor-memory 1g --deploy-mode cluster --files /home/hadoop/QueryExecutor/test2/test2.sparql.sql ./queryexecutor_2.10-1.1.jar s2rdf test2.sparql.sql

==>실행결과
/tmp/table명_resultFile.txt와 table명_resultFileTimes.txt파일이 생성됨(select 결과를 포함하지 않고 queryid및 실행시간만 포함하고 있음)


6. 소스 컴파일 하기
가. DataSetCreator소스 변경시 /home/hadoop/DataSetCreator/S2RDF_DataSetCreator폴더 밑에서 "sbt package"명령을 실행하면 새로 생성된 jar파일의 위치를 알려주는데 이 정보를 이용하여 /home/hadoop/DataSetCreator폴더 밑으로 복사하고 3번을 실행한다.

나. QueryTranslator소스 변경시 QueryTranslator/S2RDF_QueryTranslator밑의 java소스를 별도의 방법(예, eclipse의 java project로 import하여 컴파일)으로 컴파일하고 원래 제공되는 queryTranslator-1.1.jar파일을 압축해제하여 변경된 *.class 폴더등을 update한후 다시 jar파일로 압축하여 /home/hadoop/QueryTranslator/S2RDF_QueryTranslator폴더 두고 4번을 실행한다.

다. QueryExecutor소스 변경시 /home/hadoop/QueryExecutor/S2RDF_QueryExecutor폴더 밑에서 "sbt package"명령을 실행하면 생성된 jar파일의 위치를 알려주는데 이 정보를 이용하여 /home/hadoop/QueryExecutor폴더 밑에 복사하고 5번을 실행한다.

* sbt package실행결과
-bash-4.1$ sbt package
[info] Set current project to datasetcreator (in build file:/home/hadoop/DataSetCreator/)
[info] Updating {file:/home/hadoop/DataSetCreator/}datasetcreator...
[info] Resolving org.fusesource.jansi#jansi;1.4 ...
[info] Done updating.
[info] Packaging /home/hadoop/DataSetCreator/target/scala-2.10/datasetcreator_2.10-0.1-SNAPSHOT.jar ...
[info] Done packaging.
[success] Total time: 1 s, completed 2016. 6. 17 오전 10:28:46

* test2.nq파일내용
<http://www.w3.org/2002/07/owl#Thing> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://www.w3.org/2000/01/rdf-schema#Resource> .

* test2.sparql파일내용
select ?s ?o where {?s <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> ?o}

* test2.sparql.sql파일내용(첫줄의 >>>>>>다음에 SO, --, __의 문자열은 반드시 있어야 됨, 원본소스는 개별실행시 해당되는 내용이 생성되지 않으니 직접 key in하던가 관련 소스를 수정해야함)
>>>>>>TEST-1-U-1--SO-OS-SS-VP__s2rdf
SELECT sub AS s , obj AS o 
         FROM `_L_http__//www.w3.org/1999/02/22-rdf-syntax-ns#type_B_$$1$$`


++++++Tables Statistic
_L_http__//www.w3.org/1999/02/22-rdf-syntax-ns#type_B_$$1$$     0       VP      _L_http__//www.w3.org/1999/02/22-rdf-syntax-ns#type_B_/
        VP      <http__//www.w3.org/1999/02/22-rdf-syntax-ns#type>      1
------

* DataSetCreator를 실행후 HDFS 상의 폴더및 파일 정보(delete->create로 작동함)
-bash-4.1$ hadoop fs -lsr s2rdf
lsr: DEPRECATED: Please use 'ls -R' instead.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/svc/apps/sda/bin/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/svc/apps/sda/bin/hadoop/apache-hive-2.0.1-bin/lib/hive-jdbc-2.0.1-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/svc/apps/sda/bin/hadoop/apache-hive-2.0.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
16/06/15 11:21:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x   - root   supergroup          0 2016-06-14 16:48 s2rdf/ExtVP
drwxr-xr-x   - root   supergroup          0 2016-06-14 16:42 s2rdf/ExtVP/OS
drwxr-xr-x   - root   supergroup          0 2016-06-14 16:36 s2rdf/ExtVP/SO
drwxr-xr-x   - root   supergroup          0 2016-06-14 16:48 s2rdf/ExtVP/SS
drwxr-xr-x   - root   supergroup          0 2016-06-14 16:29 s2rdf/VP
drwxr-xr-x   - hadoop supergroup          0 2016-06-14 16:29 s2rdf/VP/_L_http__
drwxr-xr-x   - hadoop supergroup          0 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org
drwxr-xr-x   - hadoop supergroup          0 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999
drwxr-xr-x   - hadoop supergroup          0 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02
drwxr-xr-x   - hadoop supergroup          0 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02/22-rdf-syntax-ns#type_B_.parquet
-rw-r--r--   3 hadoop supergroup          0 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02/22-rdf-syntax-ns#type_B_.parquet/_SUCCESS
-rw-r--r--   3 hadoop supergroup        282 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02/22-rdf-syntax-ns#type_B_.parquet/_common_metadata
-rw-r--r--   3 hadoop supergroup        584 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02/22-rdf-syntax-ns#type_B_.parquet/_metadata
-rw-r--r--   3 hadoop supergroup        906 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02/22-rdf-syntax-ns#type_B_.parquet/part-r-00001.parquet
-rw-r--r--   3 hadoop supergroup        282 2016-06-14 16:29 s2rdf/VP/_L_http__/www.w3.org/1999/02/22-rdf-syntax-ns#type_B_.parquet/part-r-00002.parquet
drwxr-xr-x   - hadoop supergroup          0 2016-06-14 16:29 s2rdf/base.parquet
-rw-r--r--   3 hadoop supergroup          0 2016-06-14 16:29 s2rdf/base.parquet/_SUCCESS
-rw-r--r--   3 hadoop supergroup        357 2016-06-14 16:29 s2rdf/base.parquet/_common_metadata
-rw-r--r--   3 hadoop supergroup        820 2016-06-14 16:29 s2rdf/base.parquet/_metadata
-rw-r--r--   3 hadoop supergroup       1321 2016-06-14 16:29 s2rdf/base.parquet/part-r-00001.parquet
-rw-r--r--   3 hadoop supergroup        357 2016-06-14 16:29 s2rdf/base.parquet/part-r-00002.parquet
-rw-r--r--   3 hadoop supergroup        138 2016-06-08 18:28 s2rdf/test2.nq
번호 제목 글쓴이 날짜 조회 수
340 mongodb 2.6.6 설치(64bit) 총관리자 2015.09.30 185
339 Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 총관리자 2022.01.17 181
338 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 총관리자 2018.06.20 181
337 lagom을 이용한 샘플 경매 프로그램 실행방법 총관리자 2017.06.20 181
336 drools를 이용한 로그,rule matching등의 테스트 java프로그램 file 총관리자 2016.07.21 181
335 java quartz 시간 설정 참고사항 총관리자 2015.12.16 179
334 cloudera서비스 중지및 기동순서 총관리자 2020.02.14 178
333 build할때 unmappable character for encoding MS949 에러 발생시 조치사항 총관리자 2016.08.03 178
332 mybais #과 $의 차이점 총관리자 2015.11.10 178
331 문자열을 숫자(integer)로 casting하기 총관리자 2016.01.13 175
330 scala-eclipse 다운로드 총관리자 2019.06.09 174
329 shard3가 있는 서버에 문제가 있는 상태에서 solr query를 요청하는 경우 "no servers hosting shard: shard3" 오류가 발생하는 경우 조치사항 총관리자 2018.01.04 174
328 Mountable HDFS on CentOS 6.x(hadoop 2.7.2의 nfs기능을 이용) 총관리자 2016.11.24 174
327 kerberos설정된 상태의 spooldir->memory->hdfs로 저장하는 과정의 flume agent configuration구성 예시 총관리자 2019.05.30 171
326 HDFS Balancer설정및 수행 총관리자 2018.03.21 171
325 jena/fuseki 3.4.0 설치 총관리자 2017.07.25 170
324 javax.net.ssl.SSLHanshakeException: SSLHandshakeException invoking https://mainCluster.gooper.com:7183/api/v1/users: sun.security.validator.ValidatorException: No trusted certificate found gooper 2022.06.29 169
323 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 총관리자 2018.05.22 169
322 Oracle 12c DB의 LOB타입 컬럼이 있는 테이블을 import할 때 주의 할 사항 gooper 2022.09.14 168
321 oozie WF에서 참고할만한 내용 총관리자 2019.07.18 168

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로