메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 만들어서 다시 동일한 테이블에 입력하는 hive쿼리는 다음과 같다.

(1번, 2번 모두 가능함)


1. 

set mapreduce.job.running.map.limit=1;

set mapreduce.job.running.reduce.limit=1;

insert overwrite table temp.tb_test select * from temp.tb_test;


2. 

insert overwrite table temp.tb_test select * from temp.tb_test;


를 실행하면 hive에서 실행하면 목적지 테이블에 데이터를 입력할 때 select된 데이터에 한해서 자동으로 merge해서 입력한다.


1번 쿼리를 impala에서 실행하면 set구문이 인식이 안되어 오류가 발생하며 set구문없이  2번 쿼리를 실행하면 파일 개수에는 변함이 잆이 동일한 개수의 파일로  데이터가 overwrite된다.


번호 제목 날짜 조회 수
125 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 2014.08.19 4593
124 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 4858
123 lateral view 예제 2014.09.18 3905
122 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 2015.04.30 4115
121 Permission denied: user=hadoop, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx--- 오류해결방법 2015.05.17 3409
120 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 5944
119 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 2015.06.17 4618
118 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 3370
117 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 3464
116 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 4960
115 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 2953
114 Spark 1.6.1 설치후 HA구성 2016.05.24 4533
113 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 4379
112 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 4563
111 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 4248
110 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 4414
109 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 4674
108 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 4007
107 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9098
106 impala 설치/설정 2016.06.03 4509
위로