메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kudu테이블의 파티션 개수가 너무 많은 경우 메타스토어와의 통신시간이 길어지면서 timeout이 걸리고 파일은 삭제되지 못하는 현상이 발생하는데 임시로 아래와 같이 timeout시간을 조정하여 처리할 수 있다.


* Impala설정

CM -> Impala -> Configuration -> hive.metastore.client.socket.timeout을 확인한다. 이때 Hive Metastore와 mysql 관련 이슈이므로 Impala설정만으로 커버할 수는 없음


* Hive설정

CM -> Hive -> Configuration -> hive.metastore.client.socket.timeout (default 5분 -> 25분)

CM -> Hive -> Configuration -> Service Monitor Client Config Overrides -> hive.metastore.client.socket.timeout (default 1분 -> 25분)

(최대 30분 이내로 설정할것, 쿼리의 응답시간이 1분이 초과된 쿼리는 자동으로 cancel되는데 이 시간을 25분으로 늘려준다)



관련 설정이 적용한후 다시 삭제를 해보면 timeout시간이 늘어나서 오랜 시간이 걸려도 삭제는 가능한다. 

이후 관련 값을 적정한 원래의 값으로 수정하여 적용한다.

번호 제목 글쓴이 날짜 조회 수
660 access=WRITE, inode="staging":ubuntu:supergroup:rwxr-xr-x 오류 총관리자 2014.07.05 1719
659 index생성, 삭제, 활용 총관리자 2014.04.25 1702
658 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 총관리자 2016.12.23 1692
657 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 총관리자 2017.07.19 1677
656 hue db에서 사용자가 가지는 정보 확인 총관리자 2020.02.10 1644
655 Cloudera Manager설치및 Uninstall 방법(순서) 총관리자 2018.05.28 1644
654 impald에서 idle_query_timeout 와 idle_session_timeout 구분 총관리자 2021.05.20 1630
653 centos 5.X에 hadoop 2.0.5 alpha 설치 총관리자 2013.12.16 1581
652 Jena 2.3를 Hadoop 2.7.2의 NFS로 mount하고 fuseki를 이용하여 start할때 오류 메세지 총관리자 2016.12.02 1557
651 sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것 총관리자 2014.05.15 1528
650 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 총관리자 2018.09.20 1522
649 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 총관리자 2014.08.19 1521
648 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 총관리자 2016.07.29 1518
647 centsOS vsftpd설치하기 총관리자 2013.12.17 1515
646 jsoup 사용 예제 총관리자 2014.06.06 1506
645 hiverserver2기동시 connection refused가 발생하는 경우 조치방법 총관리자 2014.05.22 1471
644 oozie의 meta정보를 mysql에서 관리하기 총관리자 2014.05.26 1466
643 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 총관리자 2015.12.01 1450
642 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 총관리자 2014.09.10 1450
641 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 총관리자 2014.05.09 1429

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로