메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


sqoop작업중에 NoSuchElementException이 발생하는 이유는 테이블명.java파일이 생성된후 table이 변경되고 java파일에 변경사항이 반영되지 않아서 인데 이때는 java파일이 위치하고 있는 /tmp/.../compile/...../ABC.JAVA파일을 찾아서 class파일과 같이

삭제해주면 sqoop 가 다시 생성하는데 이때 변경된 테이블 정보가 반영된다.

또한가지.. hdfs에 있는 컬럼의 개수와 테이블의 개수를 비교해 보고 차이가 있는지 확인해야 한다.

번호 제목 글쓴이 날짜 조회 수
379 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 총관리자 2014.07.17 1002
378 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 총관리자 2014.08.19 1520
377 hadoop의 data디렉토리를 변경하는 방법 총관리자 2014.08.24 536
» java.util.NoSuchElementException발생시 조치 총관리자 2014.08.27 476
375 sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음 총관리자 2014.09.02 4093
374 banana pi에 hive 0.13.1+mysql(metastore)설치 file 총관리자 2014.09.09 2406
373 root가 localhost에서 mysql로 접근하지 못하는 경우의 해결방법(패스워드) 총관리자 2014.09.10 595
372 lateral view 예제 총관리자 2014.09.18 691
371 kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 총관리자 2015.03.31 248
370 SASL configuration failed: javax.security.auth.login.LoginException: java.lang.NullPointerException 오류 해결방법 총관리자 2015.04.02 701
369 scan의 startrow, stoprow지정하는 방법 총관리자 2015.04.08 375
368 bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2015.04.24 19143
367 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable원인 총관리자 2015.04.27 322
366 zookeeper 3.4.6 설치(3대) 총관리자 2015.04.28 1209
365 Hadoop - 클러스터 세팅및 기동 총관리자 2015.04.28 427
364 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 총관리자 2015.04.29 1047
363 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 총관리자 2015.04.30 227
362 oozie 4.1 설치 - maven을 이용한 source compile on hadoop 2.5.2 with postgresql 9.3 총관리자 2015.04.30 861
361 hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 총관리자 2015.05.05 3769
360 java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master 오류해결방법 총관리자 2015.05.06 449

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로