메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 만들어서 다시 동일한 테이블에 입력하는 hive쿼리는 다음과 같다.

(1번, 2번 모두 가능함)


1. 

set mapreduce.job.running.map.limit=1;

set mapreduce.job.running.reduce.limit=1;

insert overwrite table temp.tb_test select * from temp.tb_test;


2. 

insert overwrite table temp.tb_test select * from temp.tb_test;


를 실행하면 hive에서 실행하면 목적지 테이블에 데이터를 입력할 때 select된 데이터에 한해서 자동으로 merge해서 입력한다.


1번 쿼리를 impala에서 실행하면 set구문이 인식이 안되어 오류가 발생하며 set구문없이  2번 쿼리를 실행하면 파일 개수에는 변함이 잆이 동일한 개수의 파일로  데이터가 overwrite된다.


번호 제목 날짜 조회 수
145 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 90866
144 Hive Query Examples from test code (2 of 2) 2014.03.26 13505
143 insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 2014.04.29 9668
142 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9077
141 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 7887
140 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 7743
139 oracle to hive data type정리표 2018.08.22 7377
138 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 7108
137 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 6326
136 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 5944
135 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 2023.11.30 5882
134 의사분산모드에서 presto설치하기 2014.03.31 5517
133 Hive 사용법 및 쿼리 샘플코드 2013.03.07 5442
132 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 5358
131 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 5308
130 Hive Query Examples from test code (1 of 2) 2014.03.26 5245
129 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 5211
128 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5121
127 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
126 TLS/SSl설정시 방법및 참고 사항 2021.10.08 5095
위로