메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


-----------------------------------------------------------------------
데이타파일#1
test01.txt
park


-----------------------------------------------------------------------
데이타파일#2
test02.txt
sang


-----------------------------------------------------------------------
user 테이블 생성
CREATE EXTERNAL TABLE user (
  name String
)
COMMENT 'User Infomation'
PARTITIONED BY (date String)

row format delimited fields terminated by 't'
LOCATION '/user/hadoop/datastore/user/';

-----------------------------------------------------------------------
20140403파티션에 데이타(test01.txt)를 date를 넣을 폴더 생성및 데이타 파일등록
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -mkdir /user/hadoop/datastore/user/date=20140403
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -put test01.txt /user/hadoop/datastore/user/date=20140403

-----------------------------------------------------------------------
파티션등록
hive> alter table user add partition(date='20140403');

-----------------------------------------------------------------------
결과 확인
hive> select * from user;  -->
park 20140403


-----------------------------------------------------------------------
두번째 파일 등록
20140404파티션에 데이타(test02.txt)를 date를 넣을 폴더 생성및 데이타 파일등록
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -mkdir /user/hadoop/datastore/user/date=20140404
hadoop@bigdata-host:~/hadoop/working$ hadoop fs -put test02.txt /user/hadoop/datastore/user/date=20140404

-----------------------------------------------------------------------

파티션등록
hive> alter table user add partition(date='20140404');

-----------------------------------------------------------------------
결과 확인
hive> select * from user;  -->
park 20140403
sang 20140404
-----------------------------------------------------------------------

data파일 추가: test03.txt

 -----------------------------------------------------------------------

변경된 파일을 20140403파티션에 upload후 데이타 확인

hadoop@bigdata-host:~/hadoop/working$ hadoop fs -put test03.txt /user/hadoop/datastore/user/date=20140403

 -----------------------------------------------------------------------

select하면

hive> select * from user;
OK
park 20140403
append1 20140403
append2 20140403
append3 20140403
sang 20140404
Time taken: 0.318 seconds, Fetched: 5 row(s)


-----------------------------------------------------------------------

hadoop@bigdata-host:~/hadoop/working$ hadoop fs -ls /user/hadoop/datastore/user/date=20140403Found 2 items
-rw-r--r--   1 hadoop supergroup          5 2014-04-03 21:55 /user/hadoop/datastore/user/date=20140403/test01.txt
-rw-r--r--   1 hadoop supergroup         24 2014-04-03 22:42 /user/hadoop/datastore/user/date=20140403/test03.txt

 

 

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로