메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


1. HDFS의 ACL을 Sentry와 연동후 테스트

  가. HDFS 폴더를 생성하고 권한을 771 이상으로 부여한다. (hive:hive로 설정하고 771이상을 주어야 sentry에서 제대로 통제를 할 수 있음)

     hdfs dfs -mkdir /DATA/GOOPER

     hdfs dfs -chown hive:hive /DATA/GOOPER

     hdfs dfs -chmod 771 /DATA/GOOPER

  나. hue에서 role및 데이터베이스를 생성하여 권한을 부여한다.

    create role rl_gooper_all;

    create database gooperdb;


    grant all on uri '/DATA/GOOPER' to role rl_gooper_all;

    grant all on database gooperdb to role rl_gooper_all;


2. 권한확인 

hdfs dfs -getfacl /DATA/GOOPER

 ->>>

# file : /DATA/GOOPER

# owner: hive

# group: hive

user:: rwx

group::rwx

other::r-x


3. hue에서 테이블 생성

  create table gooperdb.test (

  col1 string

)

location '/DATA/GOOPER/test';


4. 테이블 생성후 test HDFS폴더 권한 확인

hdfs dfs -getfacl /DATA/GOOPER/test

 ->>>

# file : /DATA/GOOPER/test

# owner: hive

# group: hive

user:: rwx

group::---

group::rl_gooper_all:rwx

user:hive:rwx

group:hive:rwx

mask::rwx

other::--x


5. 현상태에서 test HDFS폴더 삭제 테스트

sudo -u aaa -kt /var/lib/keytab/aaa.keytab aaa

sudo -u aaa hdfs dfs -rm -r /DATA/GOOPER/test

----> rm: Failed to move to trash: hdfs://nameservice1/DATA/GOOPER/test : Permission denied: user=aaa, access=WRITE, inode="/DATA/GOOPER":hive:hive:drwxrwxr-x

번호 제목 날짜 조회 수
329 [Kudu] tablet server 혹은 kudu master가 어떤 원인에 의해서 replica가 failed상태인 경우 복구하는 방법 2021.05.24 4549
328 impald에서 idle_query_timeout 와 idle_session_timeout 구분 2021.05.20 4879
327 missing block및 관련 파일명 찾는 명령어 2021.02.20 4640
326 [sap] Error: java.io.IOException: SQLException in nextKeyValue 오류 발생 2020.06.08 4330
325 [kudu]테이블 drop이 안되고 timeout이 걸리는 경우 조치 방법 2020.06.08 4809
324 [oozie] oozie shell action에서 shellscript수행결과의 2개 변수를 decision 액션에서 사용하기 2020.06.05 4040
» [Sentry]HDFS의 ACL을 Sentry와 연동후 테스트 2020.06.02 4166
322 [sqoop] mapper를 2이상으로 설정하기 위한 split-by컬럼을 찾을때 유용하게 활용할 수 있는 쿼리 2020.05.13 4758
321 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 2020.05.11 4549
320 W/F수행후 Logs not available for 1. Aggregation may not to complete. 표시되며 로그내용이 보이지 않은 경우 2020.05.08 5032
319 A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 2020.05.06 4159
318 impala external 테이블 생성시 컬럼과 라인 구분자를 지정하여 테이블 생성하는 예시 2020.02.20 3933
317 [Kerberos]Kerberos상태의 클러스터에 JDBC로 접근할때 케이스별 오류내용 2020.02.14 7126
316 cloudera서비스 중지및 기동순서 2020.02.14 4315
315 impala테이블 쿼리시 max_row_size 관련 오류가 발생할때 조치사항 2020.02.12 3960
314 hue.axes_accessattempt테이블 데이터 샘플 2020.02.10 4356
313 hue.desktop_document2의 type의 종류 2020.02.10 5121
312 hue db에서 사용자가 가지는 정보 확인 2020.02.10 5171
311 Cloudera의 CMS각 컴포넌트의 역할 2020.02.10 4523
310 Namenode Metadata백업하는 방법 2020.02.10 3934
위로