메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


-----------------------------------------------------------------------
데이타파일#1
test01.txt
park


-----------------------------------------------------------------------
데이타파일#2
test02.txt
sang


-----------------------------------------------------------------------
user 테이블 생성
CREATE EXTERNAL TABLE user (
  name String
)
COMMENT 'User Infomation'
PARTITIONED BY (date String)

row format delimited fields terminated by 't'
LOCATION '/user/hadoop/datastore/user/';

-----------------------------------------------------------------------
20140403파티션에 데이타(test01.txt)를 date를 넣을 폴더 생성및 데이타 파일등록
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -mkdir /user/hadoop/datastore/user/date=20140403
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -put test01.txt /user/hadoop/datastore/user/date=20140403

-----------------------------------------------------------------------
파티션등록
hive> alter table user add partition(date='20140403');

-----------------------------------------------------------------------
결과 확인
hive> select * from user;  -->
park 20140403


-----------------------------------------------------------------------
두번째 파일 등록
20140404파티션에 데이타(test02.txt)를 date를 넣을 폴더 생성및 데이타 파일등록
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -mkdir /user/hadoop/datastore/user/date=20140404
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -put test02.txt /user/hadoop/datastore/user/date=20140404

-----------------------------------------------------------------------

파티션등록
hive> alter table user add partition(date='20140404');

-----------------------------------------------------------------------
결과 확인
hive> select * from user;  -->
park 20140403
sang 20140404
-----------------------------------------------------------------------

data파일 추가: test03.txt

 -----------------------------------------------------------------------

변경된 파일을 20140403파티션에 upload후 데이타 확인

hadoop@bigdata-host:~/hadoop/working$ hadoop fs -put test03.txt /user/hadoop/datastore/user/date=20140403

 -----------------------------------------------------------------------

select하면

hive> select * from user;
OK
park 20140403
append1 20140403
append2 20140403
append3 20140403
sang 20140404
Time taken: 0.318 seconds, Fetched: 5 row(s)


-----------------------------------------------------------------------

hadoop@bigdata-host:~/hadoop/working$ hadoop fs -ls /user/hadoop/datastore/user/date=20140403Found 2 items
-rw-r--r--   1 hadoop supergroup          5 2014-04-03 21:55 /user/hadoop/datastore/user/date=20140403/test01.txt
-rw-r--r--   1 hadoop supergroup         24 2014-04-03 22:42 /user/hadoop/datastore/user/date=20140403/test03.txt

 

 

번호 제목 날짜 조회 수
145 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 90866
144 Hive Query Examples from test code (2 of 2) 2014.03.26 13505
143 insert hbase by hive ... error occured after 5 hours..HMaster가 뜨지 않는 장애에 대한 복구 방법 2014.04.29 9668
142 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 9093
141 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 7898
140 Spark에서 Serializable관련 오류및 조치사항 2017.04.21 7743
139 oracle to hive data type정리표 2018.08.22 7378
138 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 7254
137 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 6438
136 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 2015.06.16 5944
135 [CDP7.1.7]impala-shell을 이용하여 kudu table에 insert/update수행시 발생하는 오류(Transport endpoint is not connected (error 107)) 발생시 확인할 내용 2023.11.30 5889
134 의사분산모드에서 presto설치하기 2014.03.31 5517
133 Hive 사용법 및 쿼리 샘플코드 2013.03.07 5442
132 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 5377
131 [CDP7.1.7]impala-shell수행시 간헐적으로 "-k requires a valid kerberos ticket but no valid kerberos ticket found." 오류 2023.11.16 5311
130 Hive Query Examples from test code (1 of 2) 2014.03.26 5247
129 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 5212
128 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 5123
127 TLS/SSl설정시 방법및 참고 사항 2021.10.08 5104
126 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 5098
위로