메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hiveserver2실행시 /tmp/root/hive.log를 보면 아래와 같은 오류가 발생하는데 다음과 같이 수정한다.

가. hive-site.xml의 다음 항목값을 수정한다.
<name>hive.exec.scratchdir</name>
  <value>/tmp/hive-${user.name}</value>

<name>hive.exec.local.scratchdir</name>
 <value>/tmp/${user.name}</value>

<name>hive.downloaded.resources.dir</name>
 <value>/tmp/${user.name}_resources</value>

<name>hive.scratch.dir.permission</name>
 <value>733</value>

나. bin폴더 아래에서 metastore 서비스와 hiveserver2 데몬을 다시 기동한다.
./hive --service metastore &
./hiveserver2  &


------------------------------------오류내용---------------------
2016-06-03T19:58:49,938 WARN  [main]: server.HiveServer2 (HiveServer2.java:startHiveServer2(555)) - Error starting HiveServer2 on attempt 3, will retry in 60 seconds
java.lang.RuntimeException: Error applying authorization policy on hive configuration: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at org.apache.hive.service.cli.CLIService.init(CLIService.java:112) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.CompositeService.init(CompositeService.java:59) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.init(HiveServer2.java:118) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.startHiveServer2(HiveServer2.java:514) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.access$700(HiveServer2.java:85) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2$StartOptionExecutor.execute(HiveServer2.java:771) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.server.HiveServer2.main(HiveServer2.java:640) [hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_66]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_66]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_66]
        at java.lang.reflect.Method.invoke(Method.java:497) ~[?:1.8.0_66]
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221) [spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136) [spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
Caused by: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at org.apache.hadoop.fs.Path.initialize(Path.java:206) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.fs.Path.<init>(Path.java:172) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:628) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:548) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:511) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.applyAuthorizationConfigPolicy(CLIService.java:125) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.init(CLIService.java:110) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        ... 12 more
Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
        at java.net.URI.checkPath(URI.java:1823) ~[?:1.8.0_66]
        at java.net.URI.<init>(URI.java:745) ~[?:1.8.0_66]
        at org.apache.hadoop.fs.Path.initialize(Path.java:203) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.fs.Path.<init>(Path.java:172) ~[spark-assembly-1.3.1-hadoop2.6.0.jar:1.3.1]
        at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:628) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:548) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:511) ~[hive-exec-2.0.1.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.applyAuthorizationConfigPolicy(CLIService.java:125) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        at org.apache.hive.service.cli.CLIService.init(CLIService.java:110) ~[hive-jdbc-2.0.1-standalone.jar:2.0.1]
        ... 12 more
번호 제목 글쓴이 날짜 조회 수
280 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 총관리자 2017.02.03 143
279 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 총관리자 2018.05.22 142
278 LUBM 개수별 hadoop HDFS data사이즈 정리 총관리자 2017.04.06 142
277 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 총관리자 2016.05.27 141
276 failed to read local state, exiting...오류발생시 조치사항 총관리자 2016.04.06 141
275 SQL문장과 Mongo에서 사용하는 명령어를 비교한 것입니다. 총관리자 2015.09.30 141
274 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
273 바나나 파이의 /tmp폴더를 외장하드로 변경하기 총관리자 2015.07.24 136
272 scala application 샘플소스(SparkSession이용) 총관리자 2018.03.07 135
271 halyard 1.3의 console을 이용하여 100억건의 데이타에 대한 쿼리수행시 ScannerTimeoutException 발생시 조치사항 총관리자 2017.09.06 134
270 jena jar파일실행시 org.apache.jena.tdb.TDB.init에서 java.lang.NullPointerException발생시 조치사항 총관리자 2016.08.19 134
269 한번에 여러값 update하기 총관리자 2016.01.13 134
268 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 총관리자 2020.06.05 133
267 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 132
266 like검색한 결과를 기준으로 집계를 수행하는 java 소스 총관리자 2016.12.19 129
265 hadoop nfs gateway설정 (Cloudera 6.3.4, CentOS 7.4 환경에서) 총관리자 2022.01.07 128
264 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 총관리자 2017.03.30 128
263 streaming작업시 입력된 값에 대한 사본을 만들게 되는데 이것이 실패했을때 발생하는 경고메세지 총관리자 2017.04.03 126
262 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 126
261 protege 4.3 다운로드 총관리자 2015.12.09 126

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로