메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop클러스터 환경에서 오라클및 sqoop이 이미 설치되어 있는 상태에서 oracle 테이블을 import하는 방법은 아래와 같다. 


1. query를 지정하는 경우

#!/bin/bash

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/lib/oracle/19.9/client64/lib/ojdbc8.jar

sqoop import \

--connect jdbc:oracle:thin:@gooperdb:5012:orcl \

--username gooper \ 

--password gooper_password \

--driver oracle.jdbc.driver.OracleDriver \

--query ' SELECT A, B FROM gooper.table_name where $CONDITIONS' \

--target-dir /DATA/gooper/tb_gooper \

-m 1 \

--delete-target-dir \


2. 테이블을 직접 지정하여 import하는 경우(테이블명은 대문자로 지정할것.)

sqoop export \

--connect jdbc:oracle:thin:@아이피:포트:디비스페이스 \

--username 아이디 \

--password 패스워드 \

--table TB_SAVE_TABLE \

--export-dir /user/hive/warehouse/sample.db/t_test_data \

--input-fields-terminated-by "\t" \

--input-lines-terminated-by "\n" \

--verbose \

-m 1 \

--input-null-string '\\N' \

--input-null-non-string '\\N'


번호 제목 글쓴이 날짜 조회 수
641 ubuntu 커널 업그레이드 방법 총관리자 2018.09.02 1416
640 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 총관리자 2015.05.21 1415
639 crypto관련 기생충 박멸 스크립트 총관리자 2018.05.11 1340
638 ExWordCount jar파일 file 구퍼 2013.03.06 1336
637 [ftgo_application]Unable to infer base url오류 발생시 조치방법 gooper 2023.02.20 1324
636 우분투 root 패스워드 설정하기 구퍼 2013.03.04 1314
635 lagom-linux용 build.sbt파일 내용 총관리자 2017.10.12 1300
634 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1292
633 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 총관리자 2016.07.08 1277
632 solr vs elasticsearch 비교2 총관리자 2014.09.29 1276
631 자주쓰는 유용한 프로그램 총관리자 2018.03.16 1268
630 The disk drive for uuid= is not ready yet or not present 오류 해결방법 총관리자 2014.04.21 1265
629 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 총관리자 2014.04.23 1261
628 거침없이 배우는 Drools 책의 샘플소스 file 총관리자 2016.07.22 1232
627 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 총관리자 2016.09.25 1224
626 json 값 다루기 총관리자 2014.04.17 1222
625 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 총관리자 2018.07.03 1220
624 zookeeper 3.4.6 설치(3대) 총관리자 2015.04.28 1210
623 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 총관리자 2018.06.28 1207
622 [kubernetes]우분투 Kubernetes 설치 방법 file 총관리자 2019.07.24 1205

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로