Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
Hadoop [Hadoop Encryption] Encryption Zone에 생성된 table에 Hue에서 insert 수행시 User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류
Encryption Zone에 있는 HDFS파일을 이용하여 생성한 table에 Hue에서 hadoop계정으로 insert문을 수행시 "Failed to open HDFS file for writing hdfs://nameservice1/DATA/test_table/_impala_insert_staging/data.0.txt Error(255): Unknown error 255. Root cause: RemoteException: java.util.concurrent.ExecutionException: org.apache.hadoop.security.authorize.AuthorizationException: User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' at " 오류가 발생할 수 있는데 이는 hdfs가 HDFS내의 해당 파일에 접근하여 Encryption File을 생성할 수 없어서 발생한다.
이때는 Ranger에 keyadmin으로 로그인하여 cm_kms항목의 Policy Name이 all - keyname인 정책의 User에 hdfs를 추가하고 Permissions에 Get Metadata, Generate EEK, Decrypt EEK를 지정해주면 해
결된다.
* Hue에서 hadoop으로 로그인해서 insert문을 수행했는데도 내부적으로는 hdfs로 접근하는거 같음. 왜냐하면 "User:hdfs not allowed to do 'DECRYPT_EEK' ON 'testkey' at " 처럼 hdfs가 접근하는 User로 표시되기 때문이다.
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
7 | hadoop및 ecosystem에서 사용되는 명령문 정리 | 총관리자 | 2014.05.28 | 3455 |
6 | hadoop 2.6.0 기동(에코시스템 포함)및 wordcount 어플리케이션을 이용한 테스트 | 총관리자 | 2015.05.05 | 3770 |
5 | Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) | 구퍼 | 2013.03.07 | 3995 |
4 | [Decommission]시 시간이 많이 걸리면서(수일) Decommission이 완료되지 않는 경우 조치 | 총관리자 | 2018.01.03 | 5369 |
3 | org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. | 구퍼 | 2013.03.11 | 14781 |
2 | mapreduce appliction을 실행시 "is running beyond virtual memory limits" 오류 발생시 조치사항 | 총관리자 | 2017.05.04 | 16899 |
1 | bananapi 5대(ubuntu계열 리눅스)에 yarn(hadoop 2.6.0)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 | 총관리자 | 2015.04.24 | 19145 |