메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kinit을 병렬로 호출(Oozie workflow에서 병렬 수행등)시 Kerberos cache파일이 손상되어 Bad format in credentials cache등의 오류 발생 할 수 있다. 
이는 kinit과정에서 cache 파일을 새로 만드는데 그 과정중에 cache를 읽는 경우 파일이 손상된것을 읽게 되어 오류가 발생할 수 있다. 
이런 경우는 kinit을 다음과 같이 수행해서 문제가 있는 경우 retry할 수 있도록 있도록 프로그램에서 고려해줘야 한다. 
예시#1)  if ! klist -s; then for i in 1 2 3; do kinit $USER@$REALM -k -t $HOME/$USER.keytab && break || sleep 2; done; fi
예시#2)
runCnt=0
impala-shell -i servername.com -B --output_delimiter=',' -o ../$NAME/$NAME.csv -f ../$NAME/001.sql
while [ $? -ne 0 ]
do  
runCnt=$(($runCnt + 1))
    if [ $runCnt -eq 2 ]
    then
        exit 1
    else
        impala-shell -i servername.com -B --output_delimiter=',' -o ../$NAME/$NAME.csv -f ../$NAME/001.sql
    fi
done

* 오류 메세지는 경우에 따라 아래와 같이 다양하게 나타날 수 있다. 
kinit: Failed to store credentials: Internal credentials cache error (filename: /tmp/krb5cc_1645006342) while getting initial credentials
kinit: Failed to store credentials: No credentials cache found (filename: /tmp/krb5cc_1645006342) while getting initial credentials
kinit: Failed to store credentials: Bad format in credentials cache (filename: /tmp/krb5cc_1645006342) while getting initial credentials
번호 제목 글쓴이 날짜 조회 수
420 Hive java connection 설정 file 구퍼 2013.04.01 2013
419 hbase에 필요한 jar들 구퍼 2013.04.01 2100
418 hadoop설치시 오류 총관리자 2013.12.18 2313
417 Hive Query Examples from test code (1 of 2) 총관리자 2014.03.26 1050
416 Hive Query Examples from test code (2 of 2) 총관리자 2014.03.26 5025
415 의사분산모드에서 presto설치하기 총관리자 2014.03.31 3050
414 동일서버에서 LA와 LC동시에 기동하여 테스트 총관리자 2014.04.01 928
413 external partition table생성및 data확인 총관리자 2014.04.03 1072
412 다수의 로그 에이전트로 부터 로그를 받아 각각의 파일로 저장하는 방법(interceptor및 multiplexing) 총관리자 2014.04.04 4089
411 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1293
410 hive에서 생성된 external table에서 hbase의 table에 값 insert하기 총관리자 2014.04.11 1748
409 column family삭제시 Column family 'delete' does not exist오류 발생하는 경우 총관리자 2014.04.14 932
408 json 값 다루기 총관리자 2014.04.17 1222
407 json serde사용법 총관리자 2014.04.17 1140
406 oozie에서 share lib설정시 action type별로 구분하여 넣을것 총관리자 2014.04.18 1195
405 sqoop 1.4.4 설치및 테스트 총관리자 2014.04.21 3134
404 sequence한 번호 생성방법 총관리자 2014.04.25 1123
403 unique한 값 생성 총관리자 2014.04.25 888
402 hbase shell에서 컬럼값 검색하기(SingleColumnValueFilter이용) 총관리자 2014.04.25 2448
401 index생성, 삭제, 활용 총관리자 2014.04.25 1702

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로