메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hiveserver2실행시 /tmp/root/hive.log를 보면 아래와 같은 오류가 발생하는데 다음과 같이 수정한다.

가. hive-site.xml의 다음 항목값을 수정한다.
<name>hive.exec.scratchdir</name>
  <value>/tmp/hive-${user.name}</value>

<name>hive.exec.local.scratchdir</name>
 <value>/tmp/${user.name}</value>

<name>hive.downloaded.resources.dir</name>
 <value>/tmp/${user.name}_resources</value>

<name>hive.scratch.dir.permission</name>
 <value>733</value>

나. bin폴더 아래에서 metastore 서비스와 hiveserver2 데몬을 다시 기동한다.
./hive --service metastore &
./hiveserver2  &


------------------------------------오류내용---------------------
2016-06-03T19:58:49,938 WARN  [main]: server.HiveServer2 (HiveServer2.java:startHiveServer2(555)) - Error starting HiveServer2 on attempt 3, will retry in 60 seconds
java.lang.RuntimeException: Error applying authorization policy on hive configuration: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at org.apache.hive.service.cli.CLIService.init(CLIService.java:112) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.CompositeService.init(CompositeService.java:59) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.init(HiveServer2.java:118) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.startHiveServer2(HiveServer2.java:514) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.access$700(HiveServer2.java:85) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2$StartOptionExecutor.execute(HiveServer2.java:771) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.main(HiveServer2.java:640) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_66]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_66]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_66]
        at java.lang.reflect.Method.invoke(Method.java:497) ~[?:1.8.0_66]
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221) [spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136) [spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
Caused by: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at org.apache.hadoop.fs.Path.initialize(Path.java:206) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.fs.Path.<init>(Path.java:172) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:628) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:548) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:511) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.applyAuthorizationConfigPolicy(CLIService.java:125) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.init(CLIService.java:110) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        ... 12 more
Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at java.net.URI.checkPath(URI.java:1823) ~[?:1.8.0_66]
        at java.net.URI.<init>(URI.java:745) ~[?:1.8.0_66]
        at org.apache.hadoop.fs.Path.initialize(Path.java:203) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.fs.Path.<init>(Path.java:172) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:628) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:548) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:511) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.applyAuthorizationConfigPolicy(CLIService.java:125) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.init(CLIService.java:110) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        ... 12 more
번호 제목 글쓴이 날짜 조회 수
339 [MemoryLeak분석]다수의 MongoCleaner 쓰레드가 Sleep상태에 있으면서 Full GC가 계속 발생되는 문제 해결방법 file 총관리자 2017.01.11 262
338 eclipse 3.1 단축키 정리파일 총관리자 2017.01.02 38
337 Halyard - RDF4J와 Apache HBase를 이용하여 구현된 TripleStore이며 SPARQL 1.1쿼리를 지원한다. 총관리자 2016.12.29 630
336 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 총관리자 2016.12.23 1662
335 new Gson().toJson(new ObjectId())을 사용하면 값이 다르게 나오는 경우가 있음 총관리자 2016.12.23 44
334 Class.forName을 이용한 메서드 호출 샘플소스 총관리자 2016.12.21 100
333 like검색한 결과를 기준으로 집계를 수행하는 java 소스 총관리자 2016.12.19 129
332 MongoDB에 있는 특정컬럼의 값을 casting(string->integer)하여 update하기 java 소스 총관리자 2016.12.19 84
331 mongodb aggregation query를 Java code로 변환한 샘플 총관리자 2016.12.15 777
330 Collections.sort를 이용한 List<Map<String, String>>형태의 데이타 정렬 소스 총관리자 2016.12.15 45
329 Collections.sort를 이용한 List<User>형태의 데이타 정렬(숫자, 문자에 대해서 각각 asc/desc및 복합정렬) 총관리자 2016.12.15 114
328 ResultSet에서 데이타를 List<Map<String,String>>형태로 만들어서 리턴하는 소스(Collections.sort를 이용한 정렬 가능) 총관리자 2016.12.15 239
327 hbase startrow와 endrow를 지정하여 검색하기 샘플 총관리자 2016.12.07 70
326 jena의 data폴더를 hadoop nfs를 이용하여 HDFS상의 폴더에 마운트 시키고 fuseki를 통하여 inert를 시도했을때 transaction 오류 발생 총관리자 2016.12.02 82
325 Jena 2.3를 Hadoop 2.7.2의 NFS로 mount하고 fuseki를 이용하여 start할때 오류 메세지 총관리자 2016.12.02 1557
324 S2RDF를 이용한 다른 버젼의 github링크 총관리자 2016.12.02 51
323 Mountable HDFS on CentOS 6.x(hadoop 2.7.2의 nfs기능을 이용) 총관리자 2016.11.24 174
322 원격의 origin/master를 기준으로 dev branch를 만들어 작업후 원격의 origin/dev에 push하는 방법 file 총관리자 2016.11.22 44
321 .gitignore파일에 지정되지 않은 파일이 ignore되는 경우 확인방법 총관리자 2016.11.22 107
320 github에 있는 프로젝트와 로컬에서 작업한 프로젝트 합치기 총관리자 2016.11.22 40

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로