메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


#!/bin/bash

kinit -k -t /var/lib/keytab/hadoop.keytab hadoop@GOOPER.COM


usage="Usage: del_diff.sh [days] [delete target path]"


if [[ $# != 2 ]]

then

   echo $usage

   exit 1

fi


path=${2}

echo "delete target path : " $path


now=$(date +%s)

echo "old file date point : " $now


hdfs dfs -ls $path | while read f; do

dir_date=`echo $f | awk '{print $6}'`

#180일

difference=$(( ( $now - $(date -d "$dir_date"  +%s) ) / (24 * 60 * 60) ))

if [ $difference -gt $1 ]; then

  if [[ `echo $f | awk '[ print $8 }'` == *$path* ]]; then

      hdfs dfs -rm `echo $f| awk '{ print $8 }'`;

  else

     echo 'else - target path is [' `echo $f| awk '{ print $8 }'` '] not contain this path [' $path ']'

  fi

fi

done

번호 제목 글쓴이 날짜 조회 수
657 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 총관리자 2017.07.19 1661
656 hue db에서 사용자가 가지는 정보 확인 총관리자 2020.02.10 1644
655 Cloudera Manager설치및 Uninstall 방법(순서) 총관리자 2018.05.28 1639
654 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error: Unable to deserialize reduce input key from...오류해결방법 총관리자 2015.06.16 1632
653 impald에서 idle_query_timeout 와 idle_session_timeout 구분 총관리자 2021.05.20 1630
652 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 총관리자 2016.12.23 1617
651 centos 5.X에 hadoop 2.0.5 alpha 설치 총관리자 2013.12.16 1580
650 Jena 2.3를 Hadoop 2.7.2의 NFS로 mount하고 fuseki를 이용하여 start할때 오류 메세지 총관리자 2016.12.02 1557
649 sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것 총관리자 2014.05.15 1526
648 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 총관리자 2014.08.19 1520
647 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 총관리자 2018.09.20 1518
646 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 총관리자 2016.07.29 1518
645 centsOS vsftpd설치하기 총관리자 2013.12.17 1515
644 jsoup 사용 예제 총관리자 2014.06.06 1506
643 oozie의 meta정보를 mysql에서 관리하기 총관리자 2014.05.26 1466
642 hiverserver2기동시 connection refused가 발생하는 경우 조치방법 총관리자 2014.05.22 1462
641 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 총관리자 2014.09.10 1450
640 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 총관리자 2015.12.01 1433
639 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 총관리자 2014.05.09 1429
638 ubuntu 커널 업그레이드 방법 총관리자 2018.09.02 1416

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로