메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop클러스터 환경에서 오라클및 sqoop이 이미 설치되어 있는 상태에서 oracle 테이블을 import하는 방법은 아래와 같다. 


1. query를 지정하는 경우

#!/bin/bash

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/lib/oracle/19.9/client64/lib/ojdbc8.jar

sqoop import \

--connect jdbc:oracle:thin:@gooperdb:5012:orcl \

--username gooper \ 

--password gooper_password \

--driver oracle.jdbc.driver.OracleDriver \

--query ' SELECT A, B FROM gooper.table_name where $CONDITIONS' \

--target-dir /DATA/gooper/tb_gooper \

-m 1 \

--delete-target-dir \


2. 테이블을 직접 지정하여 import하는 경우(테이블명은 대문자로 지정할것.)

sqoop export \

--connect jdbc:oracle:thin:@아이피:포트:디비스페이스 \

--username 아이디 \

--password 패스워드 \

--table TB_SAVE_TABLE \

--export-dir /user/hive/warehouse/sample.db/t_test_data \

--input-fields-terminated-by "\t" \

--input-lines-terminated-by "\n" \

--verbose \

-m 1 \

--input-null-string '\\N' \

--input-null-non-string '\\N'


번호 제목 글쓴이 날짜 조회 수
18 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 gooper 2024.04.19 2
17 Oracle 12c DB의 LOB타입 컬럼이 있는 테이블을 import할 때 주의 할 사항 gooper 2022.09.14 190
16 oracle 접속 방식에 따른 --connect 지정 방법 총관리자 2022.02.11 25
15 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 총관리자 2022.01.14 36
» oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 총관리자 2021.12.31 59
13 [sap] Error: java.io.IOException: SQLException in nextKeyValue 오류 발생 총관리자 2020.06.08 283
12 [sqoop] mapper를 2이상으로 설정하기 위한 split-by컬럼을 찾을때 유용하게 활용할 수 있는 쿼리 총관리자 2020.05.13 344
11 컬럼및 라인의 구분자를 지정하여 sqoop으로 데이타를 가져오고 hive테이블을 생성하는 명령문 총관리자 2018.08.03 424
10 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 총관리자 2018.08.03 678
9 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpConfig.getSchemePrefix()Ljava/lang/String; 해결->실패 총관리자 2015.06.14 405
8 hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail 총관리자 2015.06.11 1773
7 sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음 총관리자 2014.09.02 4095
6 java.util.NoSuchElementException발생시 조치 총관리자 2014.08.27 479
5 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 총관리자 2014.07.17 1003
4 import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by "x01"와 같이 지정해야함 총관리자 2014.05.20 4246
3 sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것 총관리자 2014.05.15 1528
2 sqoop export/import등을 할때 driver를 못찾는 오류가 발생하면... 총관리자 2014.05.15 869
1 sqoop 1.4.4 설치및 테스트 총관리자 2014.04.21 3134

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로