메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


.bashrc 혹은 /etc/profile파일에
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_CLASS_PATH=$HIVE_CONF_DIR
와 같이 설정하면 아래와 같이 Tracking URL = N/A가 된다.

------------오류내용-------------
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1434450909349_0013, Tracking URL = N/A
Kill Command = /hadoop/hadoop/bin/hadoop job  -kill job_1434450909349_0013
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2015-06-17 19:45:49,914 Stage-1 map = 0%,  reduce = 0%
2015-06-17 19:45:57,168 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 8.51 sec
2015-06-17 19:46:05,434 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 11.09 sec
MapReduce Total cumulative CPU time: 11 seconds 90 msec

번호 제목 날짜 조회 수
105 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 3429
104 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 4749
103 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 3299
102 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 7887
101 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 7107
100 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 3134
99 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 3719
98 Apache Spark와 Drools를 이용한 CEP구현 테스트 2016.07.15 4212
97 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 2016.08.01 4091
96 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 2016.09.24 2397
95 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 2016.09.25 4055
94 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 3631
93 AIX 7.1에서 hive실행시 "hive: line 86: readlink: command not found" 오류가 발생시 임시 조치사항 2016.09.25 4195
92 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 2016.10.17 4159
91 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 4855
90 How-to: Tune Your Apache Spark Jobs (Part 2) file 2016.10.31 3457
89 참고할만한 spark예제를 설명하는 사이트 2016.11.11 3411
88 spark notebook 0.7.0설치및 설정 2016.11.14 3573
87 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 2017.01.12 3374
86 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 3791
위로