메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 만들어서 다시 동일한 테이블에 입력하는 hive쿼리는 다음과 같다.

(1번, 2번 모두 가능함)


1. 

set mapreduce.job.running.map.limit=1;

set mapreduce.job.running.reduce.limit=1;

insert overwrite table temp.tb_test select * from temp.tb_test;


2. 

insert overwrite table temp.tb_test select * from temp.tb_test;


를 실행하면 hive에서 실행하면 목적지 테이블에 데이터를 입력할 때 select된 데이터에 한해서 자동으로 merge해서 입력한다.


1번 쿼리를 impala에서 실행하면 set구문이 인식이 안되어 오류가 발생하며 set구문없이  2번 쿼리를 실행하면 파일 개수에는 변함이 잆이 동일한 개수의 파일로  데이터가 overwrite된다.


번호 제목 날짜 조회 수
27 hive query에서 mapreduce돌리지 않고 select하는 방법 2014.05.23 4430
26 unique한 값 생성 2014.04.25 4450
25 index생성, 삭제, 활용 2014.04.25 4490
24 sequence한 번호 생성방법 2014.04.25 4524
23 json serde사용법 2014.04.17 4535
22 [CDP7.1.7, Hive Replication]Hive Replication진행중 "The following columns have types incompatible with the existing columns in their respective positions " 오류 2023.12.27 4584
21 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 2014.08.19 4587
20 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 2015.06.17 4617
19 hive에서 생성된 external table에서 hbase의 table에 값 insert하기 2014.04.11 4631
18 hiverserver2기동시 connection refused가 발생하는 경우 조치방법 2014.05.22 4642
17 Hive java connection 설정 file 2013.04.01 4661
» hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 merge하여 동일한 테이블에 입력하는 방법 2019.05.23 4701
15 hive metadata(hive, impala, kudu 정보가 있음) 테이블에서 db, table, owner, location를 조회하는 쿼리 2020.02.07 4707
14 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 4749
13 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. 2023.03.10 4810
12 json으로 존재하는 데이터 parsing하기 2019.03.25 4849
11 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 4858
10 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
9 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5121
8 Hive Query Examples from test code (1 of 2) 2014.03.26 5245
위로