메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용해야함...

oracle은 내부적으로 대문자로 변환하여 저장하는데.. sqoop에서는 그렇게 하지 않기 때문에 오류가 발생하므로..

대문자로 지정하여야 정상적으로 접근이 된다.

 

-----------------------------------------오류내용 ------------------------------------------------------

hadoop@bigdata-host:~/hadoop/working/cas/scenario/s1/sqoop$ sqoop export --options-file option.par
Warning: /usr/lib/hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
14/05/15 16:36:53 DEBUG tool.BaseSqoopTool: Enabled debug logging.
14/05/15 16:36:53 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
14/05/15 16:36:53 DEBUG sqoop.ConnFactory: Loaded manager factory: com.cloudera.sqoop.manager.DefaultManagerFactory
14/05/15 16:36:53 DEBUG sqoop.ConnFactory: Trying ManagerFactory: com.cloudera.sqoop.manager.DefaultManagerFactory
14/05/15 16:36:53 DEBUG manager.DefaultManagerFactory: Trying with scheme: jdbc:oracle:thin:@
14/05/15 16:36:53 DEBUG manager.OracleManager$ConnCache: Instantiated new connection cache.
14/05/15 16:36:53 INFO manager.SqlManager: Using default fetchSize of 1000
14/05/15 16:36:53 DEBUG sqoop.ConnFactory: Instantiated ConnManager org.apache.sqoop.manager.OracleManager@4bfa385a
14/05/15 16:36:53 INFO tool.CodeGenTool: Beginning code generation
14/05/15 16:36:54 DEBUG manager.OracleManager: Using column names query: SELECT t.* FROM TB_SC_101010 t WHERE 1=0
14/05/15 16:36:54 DEBUG manager.SqlManager: Execute getColumnTypesRawQuery : SELECT t.* FROM TB_SC_101010 t WHERE 1=0
14/05/15 16:36:55 DEBUG manager.OracleManager: Creating a new connection for jdbc:oracle:thin:@//192.168.0.143:1521/ORCL, using username: secu
14/05/15 16:36:55 DEBUG manager.OracleManager: No connection paramenters specified. Using regular API for making connection.
14/05/15 16:36:56 INFO manager.OracleManager: Time zone has been set to GMT
14/05/15 16:36:56 DEBUG manager.SqlManager: Using fetchSize for next query: 1000
14/05/15 16:36:56 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM TB_SC_101010 t WHERE 1=0
14/05/15 16:36:56 DEBUG manager.OracleManager$ConnCache: Caching released connection for jdbc:oracle:thin:@//192.168.0.143:1521/ORCL/secu
14/05/15 16:36:56 DEBUG orm.ClassWriter: selected columns:
14/05/15 16:36:56 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.IllegalArgumentException: Attempted to generate class with no columns!
java.lang.IllegalArgumentException: Attempted to generate class with no columns!
 at org.apache.sqoop.orm.ClassWriter.generateClassForColumns(ClassWriter.java:1295)
 at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1176)
 at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
 at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:64)
 at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:100)
 at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
 at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
 at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
 at org.apache.sqoop.Sqoop.main(Sqoop.java:238)

번호 제목 글쓴이 날짜 조회 수
81 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 총관리자 2022.04.30 11
80 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 총관리자 2022.05.02 207
79 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 총관리자 2022.05.02 19
78 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 총관리자 2022.05.02 26
77 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 총관리자 2022.05.09 38
76 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 총관리자 2022.05.11 150
75 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 총관리자 2022.05.13 94
74 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 총관리자 2022.05.13 38
73 [TLS/SSL]Kudu Master 설정하기 총관리자 2022.05.13 61
72 [TLS/SSL]Kudu Tablet Server설정 총관리자 2022.05.13 35
71 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 총관리자 2022.05.13 48
70 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. gooper 2022.05.16 8
69 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. gooper 2022.05.30 228
68 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle gooper 2022.06.10 81
67 [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. gooper 2022.06.10 105
66 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 gooper 2022.06.10 425
65 Authorization within Hadoop Projects gooper 2022.06.13 88
64 [Sentry] sentry메타 DB를 이용하여 테이블에 매핑되어 있는 role명칭 찾는 방법. gooper 2022.06.22 16
63 Cloudera Manager의 Java Heap Size변경하는 방법 gooper 2022.06.27 31
62 javax.net.ssl.SSLHanshakeException: SSLHandshakeException invoking https://mainCluster.gooper.com:7183/api/v1/users: sun.security.validator.ValidatorException: No trusted certificate found gooper 2022.06.29 169

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로