Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.
HDFS파일을 삭제후 .Trash에 들어가고 1일후 flush out되었으나 여전히 HDFS 공간을 차지하고 있는 경우가 있는데 이는 해당 폴더의 상위 폴더에 snapshot이 정책이 설정되어 있고 snapshot파일이 아직 삭제되지 않았기 때문이다.
Trash폴더의 데이터를 확인해보면(sudo -u hdfs hdfs dfs -ls /user/gooper/.Trash) 데이터 목록이 보이지 않는데 이는 Trash비움 시간이 지났기 때문에 지원진것이다.
이때, sudo -u hdfs hdfs dfs -du /user/gooper/.Trash로 확인하면 용량이 그대로 확인되는 경우가 있는데 이는 상위폴더(예, /user)가 snapshot대상으로 설정되어 있으며 .Trash 폴더를 비우기전의 데이터가 snapshot되었고 snapshot파일이 삭제되지 않고 남아 있기 때문이다. (필요시 snapshot파일을 이용하여 이전 상태로 되돌려야 하는 경우를 대비하여 파일을 보관하고 있는것이다)
이때는 CM->Clusters->HDFS->File Browser에서 해당 폴더로 이동하여 우측 중간에 있는 Snapshots목록에서 삭제해주면 바로 HDFS공간이 확보되는것을 확인할 수 있다.
댓글 0
| 번호 | 제목 | 날짜 | 조회 수 |
|---|---|---|---|
| 9 | [CDP7.1.7]Encryption Zone내부/외부 간 데이터 이동(mv,cp)및 CTAS, INSERT SQL시 오류(can't be moved into an encryption zone, can't be moved from an encryption zone) | 2023.11.14 | 12546 |
| 8 | [EncryptionZone]User:hdfs not allowed to do 'DECRYPT_EEK on 'enc_key'오류 | 2023.11.02 | 12603 |
| 7 | [CDP7.1.7]EncryptionZone에 table생성및 권한 테스트 | 2023.09.26 | 12597 |
| » | [CDP7.1.6,HDFS]HDFS파일을 삭제하고 Trash비움이 완료된후에도 HDFS 공간을 차지하고 있는 경우 확인/조치 방법 | 2023.07.17 | 11918 |
| 5 | [Hadoop Encryption] Encryption Zone 생성/설정시 User:hadoop not allowed to do 'DECRYPT_EEK' ON 'testkey' 오류 발생 조치 사항 | 2023.06.28 | 11880 |
| 4 | [DataNode]org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: hdfs/datanode03@GOOPER.COM from keytab hdfs.keytab오류 | 2023.04.18 | 16733 |
| 3 | HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. | 2022.05.30 | 13426 |
| 2 | HDFS에서 quota 설정 방법및 확인 방법 | 2022.03.30 | 11832 |
| 1 | [CentOS 7.4]Hadoop NFS gateway기동시 Cannot connect to port 2049 오류 발생시 확인/조치 | 2022.03.02 | 12833 |