메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


.bashrc 혹은 /etc/profile파일에
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_CLASS_PATH=$HIVE_CONF_DIR
와 같이 설정하면 아래와 같이 Tracking URL = N/A가 된다.

------------오류내용-------------
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1434450909349_0013, Tracking URL = N/A
Kill Command = /hadoop/hadoop/bin/hadoop job  -kill job_1434450909349_0013
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2015-06-17 19:45:49,914 Stage-1 map = 0%,  reduce = 0%
2015-06-17 19:45:57,168 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 8.51 sec
2015-06-17 19:46:05,434 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 11.09 sec
MapReduce Total cumulative CPU time: 11 seconds 90 msec

번호 제목 날짜 조회 수
125 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
124 kudu rebalance수행 command예시 2022.01.17 5084
123 Kudu tablet이 FAILED일때 원인 확인 방법 2022.01.17 5063
122 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 2016.10.28 5010
121 json으로 존재하는 데이터 parsing하기 2019.03.25 4981
120 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 4960
119 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 4925
118 Hue impala에서 query결과를 HDFS 파일로 export시 AuthorizationException: User 'gooper1234' does not have privileges to access: db명.query_impala_123456 2022.03.17 4912
117 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 2023.03.28 4883
116 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 4858
115 spark에서 hive table을 읽어 출력하는 예제 소스 2017.03.09 4848
114 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 4847
113 임시 테이블에서 데이터를 읽어서 partitioned table에 입력하는 impala SQL문 예시 2023.11.10 4840
112 hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 merge하여 동일한 테이블에 입력하는 방법 2019.05.23 4838
111 Scala에서 countByWindow를 이용하기(예제) 2018.03.08 4838
110 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 4827
109 [CDP7.1.7]Oozie job에서 ERROR: Kudu error(s) reported, first error: Timed out: Failed to write batch of 774 ops to tablet 8003f9a064bf4be5890a178439b2ba91가 발생하면서 쿼리가 실패하는 경우 2024.01.05 4824
108 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. 2023.03.10 4811
107 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 4808
106 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 4749
위로