메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


kinit을 병렬로 호출(Oozie workflow에서 병렬 수행등)시 Kerberos cache파일이 손상되어 Bad format in credentials cache등의 오류 발생 할 수 있다. 
이는 kinit과정에서 cache 파일을 새로 만드는데 그 과정중에 cache를 읽는 경우 파일이 손상된것을 읽게 되어 오류가 발생할 수 있다. 
이런 경우는 kinit을 다음과 같이 수행해서 문제가 있는 경우 retry할 수 있도록 있도록 프로그램에서 고려해줘야 한다. 
예시#1)  if ! klist -s; then for i in 1 2 3; do kinit $USER@$REALM -k -t $HOME/$USER.keytab && break || sleep 2; done; fi
예시#2)
runCnt=0
impala-shell -i servername.com -B --output_delimiter=',' -o ../$NAME/$NAME.csv -f ../$NAME/001.sql
while [ $? -ne 0 ]
do  
runCnt=$(($runCnt + 1))
    if [ $runCnt -eq 2 ]
    then
        exit 1
    else
        impala-shell -i servername.com -B --output_delimiter=',' -o ../$NAME/$NAME.csv -f ../$NAME/001.sql
    fi
done

* 오류 메세지는 경우에 따라 아래와 같이 다양하게 나타날 수 있다. 
kinit: Failed to store credentials: Internal credentials cache error (filename: /tmp/krb5cc_1645006342) while getting initial credentials
kinit: Failed to store credentials: No credentials cache found (filename: /tmp/krb5cc_1645006342) while getting initial credentials
kinit: Failed to store credentials: Bad format in credentials cache (filename: /tmp/krb5cc_1645006342) while getting initial credentials
번호 제목 날짜 조회 수
90 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 2022.05.02 4108
89 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 2022.05.02 4590
88 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 2022.05.02 4620
87 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 2022.05.09 4827
86 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 2022.05.11 4072
85 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 2022.05.13 4658
84 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 2022.05.13 4197
83 [TLS/SSL]Kudu Master 설정하기 2022.05.13 4294
82 [TLS/SSL]Kudu Tablet Server설정 2022.05.13 4208
81 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 2022.05.13 3995
80 [Cloudera Agent] Metadata-Plugin throttling_logger INFO (713 skipped) Unable to send data to nav server. Will try again. 2022.05.16 4484
79 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. 2022.05.30 4552
78 Query 1234:1234 expired due to client inactivity(timeout is 5m)및 invalid query handle 2022.06.10 3779
77 [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. 2022.06.10 4165
76 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 2022.06.10 3894
75 Authorization within Hadoop Projects 2022.06.13 3047
74 [Sentry] sentry메타 DB를 이용하여 테이블에 매핑되어 있는 role명칭 찾는 방법. 2022.06.22 4191
73 Cloudera Manager의 Java Heap Size변경하는 방법 2022.06.27 4437
72 javax.net.ssl.SSLHanshakeException: SSLHandshakeException invoking https://mainCluster.gooper.com:7183/api/v1/users: sun.security.validator.ValidatorException: No trusted certificate found 2022.06.29 3867
71 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) 2022.07.04 3881
위로