Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
#!/bin/bash
kinit -k -t /var/lib/keytab/hadoop.keytab hadoop@GOOPER.COM
usage="Usage: del_diff.sh [days] [delete target path]"
if [[ $# != 2 ]]
then
echo $usage
exit 1
fi
path=${2}
echo "delete target path : " $path
now=$(date +%s)
echo "old file date point : " $now
hdfs dfs -ls $path | while read f; do
dir_date=`echo $f | awk '{print $6}'`
#180일
difference=$(( ( $now - $(date -d "$dir_date" +%s) ) / (24 * 60 * 60) ))
if [ $difference -gt $1 ]; then
if [[ `echo $f | awk '[ print $8 }'` == *$path* ]]; then
hdfs dfs -rm `echo $f| awk '{ print $8 }'`;
else
echo 'else - target path is [' `echo $f| awk '{ print $8 }'` '] not contain this path [' $path ']'
fi
fi
done
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
7 | hadoop 설치(3대) | 구퍼 | 2013.03.07 | 2613 |
6 | Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) | 구퍼 | 2013.03.07 | 3995 |
5 | ExWordCount jar파일 | 구퍼 | 2013.03.06 | 1336 |
4 | 이클립스에서 생성한 jar 파일 hadoop 으로 실행하기 | 구퍼 | 2013.03.06 | 2837 |
3 | Hadoop wordcount 소스 작성 | 구퍼 | 2013.03.06 | 1888 |
2 | Hadoop 설치 및 시작하기 | 구퍼 | 2013.03.06 | 1951 |
1 | 메이븐 (maven) 설치 및 이클립스 연동하기 | 구퍼 | 2013.03.06 | 2280 |