메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kudu테이블의 파티션 개수가 너무 많은 경우 메타스토어와의 통신시간이 길어지면서 timeout이 걸리고 파일은 삭제되지 못하는 현상이 발생하는데 임시로 아래와 같이 timeout시간을 조정하여 처리할 수 있다.


* Impala설정

CM -> Impala -> Configuration -> hive.metastore.client.socket.timeout을 확인한다. 이때 Hive Metastore와 mysql 관련 이슈이므로 Impala설정만으로 커버할 수는 없음


* Hive설정

CM -> Hive -> Configuration -> hive.metastore.client.socket.timeout (default 5분 -> 25분)

CM -> Hive -> Configuration -> Service Monitor Client Config Overrides -> hive.metastore.client.socket.timeout (default 1분 -> 25분)

(최대 30분 이내로 설정할것, 쿼리의 응답시간이 1분이 초과된 쿼리는 자동으로 cancel되는데 이 시간을 25분으로 늘려준다)



관련 설정이 적용한후 다시 삭제를 해보면 timeout시간이 늘어나서 오랜 시간이 걸려도 삭제는 가능한다. 

이후 관련 값을 적정한 원래의 값으로 수정하여 적용한다.

번호 제목 글쓴이 날짜 조회 수
340 DB별 JDBC 드라이버 총관리자 2015.10.02 256
339 console명령과 API비교 총관리자 2015.12.21 120
338 mongodb에서 큰데이타 sort시 오류발생에 대한 해결방법 총관리자 2015.12.22 145
337 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 158
336 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
335 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
334 "java.net.NoRouteToHostException: 호스트로 갈 루트가 없음" 오류시 확인및 조치할 사항 총관리자 2016.04.01 3022
333 namenode오류 복구시 사용하는 명령 총관리자 2016.04.01 377
332 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 491
331 Cassandra 3.4(3.10) 설치/설정 (5대로 clustering) 총관리자 2016.04.11 397
330 bin/cassandra -f -R로 startup할때 NullPointerException오류가 나면 조치할 내용 총관리자 2016.04.14 70
329 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 205
328 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
327 kafka 0.9.0.1 for scala 2.1.1 설치및 테스트 총관리자 2016.05.02 412
326 kafka broker기동시 brokerId가 달라서 기동에 실패하는 경우 조치방법 총관리자 2016.05.02 2333
325 Master rejected startup because clock is out of sync 오류 해결방법 총관리자 2016.05.03 60
324 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 551
323 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
322 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 568
321 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로