메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


sqoop작업시 success이면서 hdfs의 개수보다 rdbms에 들어가는 자료의 개수가 더 많아(중복되면서) 지는 경우가 있는데..

이는 버그로 보이며 update key로 지정하는 컬럼의 수를 최소로 만드는 등의 오류를 유도하여 확인하는 방법이 

있다. 

*참고 : https://stackoverflow.com/questions/39137254/sqoop-export-inserting-duplicate-entries

번호 제목 날짜 조회 수
680 uEnv.txt위치및 내용 2014.07.09 8904
679 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 2014.07.17 9659
678 lubuntu 호스트 네임변경 2014.08.03 9519
677 데이타 제공 사이트 링크 2014.08.03 11560
676 외부 기기(usb, 하드)등 mount(연결)하기 2014.08.03 12803
675 원보드 컴퓨터 비교표 file 2014.08.04 12970
674 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 2014.08.19 12234
673 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 2014.08.24 11139
672 hadoop의 data디렉토리를 변경하는 방법 2014.08.24 11404
671 java.util.NoSuchElementException발생시 조치 2014.08.27 11857
» sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음 2014.09.02 13438
669 원격지에서 zio공유기를 통해서 노트북의 mysql접속을 허용하는 방법 2014.09.07 12410
668 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 12378
667 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 2014.09.10 13629
666 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 2014.09.10 16187
665 root가 localhost에서 mysql로 접근하지 못하는 경우의 해결방법(패스워드) 2014.09.10 13075
664 lateral view 예제 2014.09.18 10358
663 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 2014.09.25 9890
662 hadoop 기반 문서 검색 2014.09.25 9238
661 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 2014.09.25 10544
위로