메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


sqoop import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by "x01"와 같이 지정해야함

총관리자 2014.05.20 18:36 조회 수 : 4348

hive query에서 insert overwrite directory '${OUTPUT}'형태로 저장하면

컬럼 구분자는 default가 'x01'가 자동으로 삽입된다.

그래서 sqoop의 import 혹은 export할때 option은

--input-fields-terminated-by
"x01"
--input-lines-terminated-by
"n"
와 같이 지정해줘야 정상적으로 문자열이 분리되어 테이블 컬럼에 저장됨

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
19 oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 2021.12.31 614
18 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 2016.05.02 583
17 Oracle 12c DB의 LOB타입 컬럼이 있는 테이블을 import할 때 주의 할 사항 2022.09.14 536
16 kafka에서 메세지 중복 consume이 발생할 수 있는 상황 2018.10.23 513
15 source, sink를 직접 구현하여 사용하는 예시 2019.05.30 497
14 producer / consumer구현시 설정 옵션 설명 2016.10.19 469
13 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpConfig.getSchemePrefix()Ljava/lang/String; 해결->실패 2015.06.14 464
12 kerberos설정된 상태의 spooldir->memory->hdfs로 저장하는 과정의 flume agent configuration구성 예시 2019.05.30 463
11 [sap] Error: java.io.IOException: SQLException in nextKeyValue 오류 발생 2020.06.08 452
10 No broker partitions consumed by consumer thread오류 발생시 확인/조치할 사항 2016.09.02 440
9 kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 2015.03.31 415
8 kafka 0.9.0.1버젼의 producer와 kafka버젼이 0.10.0.1인 consumer가 서로 대화하는 모습 2016.08.18 365
7 Kafka의 API중 Consumer.createJavaConsumerConnector()를 이용하고 다수의 thread를 생성하여 Kafka broker의 topic에 접근하여 데이타를 가져오고 처리하는 예제 소스 2017.04.26 351
6 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 2016.08.12 328
5 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 2016.08.02 278
4 운영중인 상태에서 kafka topic삭제하고 재생성하여 처리되지 않은 메세지 모두 삭제하기 2016.10.24 238
3 oracle 접속 방식에 따른 --connect 지정 방법 2022.02.11 186
2 Oracle NLOB type의 데이터를 import하는 경우 No Java type for SQL type 2011 for column rst와 같은 오류 발생시 조치사항 2022.01.14 142
1 [CDP7.1.7] oozie sqoop action으로 import혹은 export수행시 발생한 오류에 대한 자세한 로그 확인 하는 방법 2024.04.19 136
쓰기 태그
위로