메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


hive테이블의 물리적인 위치인 HDFS에 여러개의 데이터 파일이 존재할때 한개의 파일로 만들어서 다시 동일한 테이블에 입력하는 hive쿼리는 다음과 같다.

(1번, 2번 모두 가능함)


1. 

set mapreduce.job.running.map.limit=1;

set mapreduce.job.running.reduce.limit=1;

insert overwrite table temp.tb_test select * from temp.tb_test;


2. 

insert overwrite table temp.tb_test select * from temp.tb_test;


를 실행하면 hive에서 실행하면 목적지 테이블에 데이터를 입력할 때 select된 데이터에 한해서 자동으로 merge해서 입력한다.


1번 쿼리를 impala에서 실행하면 set구문이 인식이 안되어 오류가 발생하며 set구문없이  2번 쿼리를 실행하면 파일 개수에는 변함이 잆이 동일한 개수의 파일로  데이터가 overwrite된다.


번호 제목 날짜 조회 수
550 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 2953
549 Spark 1.6.1 설치후 HA구성 2016.05.24 4533
548 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 4380
547 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 4630
546 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 4248
545 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 4414
544 RDF storage조합에대한 test결과(4store, Jena+HBase, Hive+HBase, CumulusRDF, Couchbase) 페이지 링크 2016.05.26 3018
543 CentOS6에 python3.5.1 소스코드로 빌드하여 설치하기 2016.05.27 4113
542 S2RDF 테스트(벤치마크 테스트를 기준으로 python, scala소스가 만들어져서 기능은 파악되지 못함) [1] file 2016.05.27 2865
541 python실행시 ValueError: zero length field name in format오류 해결방법 2016.05.27 3929
540 python 2.6.6에서 print 'A=' 형태의 사용이 python 3.5.1에서 오류(SyntaxError: Missing parentheses in call to 'print') 발생함.. 2016.05.27 2931
539 DataSetCreator.py 실행시 파일을 찾을 수 없는 오류 2016.05.27 2129
538 --master yarn 옵션으로 spark client프로그램 실행할때 메모리 부족 오류발생시 조치방법 2016.05.27 3522
537 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 4676
536 Job이 끝난 log을 볼수 있도록 설정하기 2016.05.30 4421
535 centos에 sbt 0.13.5 설치 2016.05.30 3202
534 Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 4008
533 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 2016.06.02 2815
532 Windows에서 sbt개발환경 구축 방법(링크) 2016.06.02 2088
531 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9104
위로