Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
SpaceQuota설정은 다음과 같이 한다. (예, 50G를 설정하려면 150G로 설정해야 3X replica를 포함해서 50G까지의 파일을 저장할 수 있다)
-> sudo -u hdfs kinit -kt /var/lib/keytab/hdfs.keytab hdfs (Kerberos설정된 경우에 수행)
-> sudo -u hdfs hdfs dfsadmin -setSpaceQuota 150G /user/shd001 (shd001 HDFS폴더에 spacequota를 지정하는 경우)
-> sudo -u hdfs hdfs dfsadmin -setSpaceQuota 150G /user/hive/warehouse/prj001db.db (prj001db에 spacequota를 지정하는 경우)
*참고 : prj001db에 할당된 quota를 확인하는 방법 : sudo -u hdfs hdfs dfs -count -q -v /user/hive/warehosue/prj001db.db
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| 9 | [CDP7.1.7]Encryption Zone내부/외부 간 데이터 이동(mv,cp)및 CTAS, INSERT SQL시 오류(can't be moved into an encryption zone, can't be moved from an encryption zone) | 2023.11.14 | 12554 |
| 8 | [EncryptionZone]User:hdfs not allowed to do 'DECRYPT_EEK on 'enc_key'오류 | 2023.11.02 | 12612 |
| 7 | [CDP7.1.7]EncryptionZone에 table생성및 권한 테스트 | 2023.09.26 | 12605 |
| 6 | [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 | 2023.07.17 | 11921 |
| 5 | [Hadoop Encryption] Encryption Zone 생성/설정시 User:hadoop not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 발생 조치 사항 | 2023.06.28 | 11887 |
| 4 | [DataNode]org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: hdfs/datanode03@GOOPER.COM from keytab hdfs.keytab오류 | 2023.04.18 | 16739 |
| 3 | HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. | 2022.05.30 | 13436 |
| » | HDFS에서 quota 설정 방법및 확인 방법 | 2022.03.30 | 11842 |
| 1 | [CentOS 7.4]Hadoop NFS gateway기동시 Cannot connect to port 2049 오류 발생시 확인/조치 | 2022.03.02 | 12837 |