메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


kudu Soft memory limit exceeded (at 100.05% of capacity) 오류 조치

총관리자 2022.01.17 10:31 조회 수 : 180

Kudu서비스의 WebUI(node01.gooper.com/8050)를 통해서 Memory(detail)탭을 클릭하면 설정된 최대 메모리와 현재 사용 현황을 확인 할 수 있다. 

화면의 Process memory usage에서 아래 값을 확인해서 Percentage consumed가 95%이상 이면 필요시 tablet server를 restart해서 메모리가 release되게 해줘야 한다. 

(정상적인 경우라면 메모리가 자동으로 release되어야 하는데 악성쿼리 혹은 OS, Kudu 버그 등에 의해서 메모리가 relase되지 않고 1일 이상 유지되는 경우가 있음)


Total consumption : 50G

Memory limit 100.00G

Percentage consumed 50%



*오류 내용 : 

Error in Kudu table 'impala::DB명.table명': Timed out: Failed to write batch of 1432 ops to tablet 5trgy678996hjh after 455 attempt(s): Failed to write to server: (no server available): Write(tablet : 5trgy678996hjh, num_ops: 1432, num_attempts: 455) passwd its deadline: Remote error: Service unavailable: Soft memory limit exceeded (at 100.05% of capacity)



이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
70 Apache Spark와 Drools를 이용한 CEP구현 테스트 총관리자 2016.07.15 342
69 spark-submit으로 spark application실행하는 다양한 방법 총관리자 2016.05.25 303
68 Spark에서 KafkaUtils.createStream()를 이용하여 이용하여 kafka topic에 접근하여 객채로 저장된 값을 가져오고 처리하는 예제 소스 총관리자 2017.04.26 292
67 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 총관리자 2017.04.19 284
66 hive metastore db중 TBLS, TABLE_PARAMS테이블 설명 총관리자 2021.10.22 259
65 Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 총관리자 2017.07.26 259
64 Scala에서 countByWindow를 이용하기(예제) 총관리자 2018.03.08 235
63 AIX 7.1에서 hive실행시 "hive: line 86: readlink: command not found" 오류가 발생시 임시 조치사항 총관리자 2016.09.25 233
62 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 총관리자 2015.04.30 227
61 [sentry]role부여후 테이블명이 변경되어 오류가 발생할때 조치방법 총관리자 2018.10.16 215
60 spark 2.0.0의 api를 이용하는 예제 프로그램 총관리자 2017.03.15 199
59 우분투 16.04LTS에 Zeppelin 0.7.3설치 총관리자 2018.04.18 198
58 RHEL 7.4에 zeppelin 0.7.4 설치 총관리자 2018.07.31 196
57 Could not compute split, block input-0-1517397051800 not found형태의 오류가 발생시 조치방법 총관리자 2018.02.01 196
56 beeline으로 접근시 "User: gooper is not allowed to impersonate anonymous (state=08S01,code=0)"가 발생하면서 "No current connection"이 발생하는 경우 조치 총관리자 2018.04.15 194
» Soft memory limit exceeded (at 100.05% of capacity) 오류 조치 총관리자 2022.01.17 180
54 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 총관리자 2016.06.09 167
53 spark2.0.0에서 hive 2.0.1 table을 읽어 출력하는 예제 소스(HiveContext, SparkSession, SQLContext) 총관리자 2017.03.09 163
52 spark notebook 0.7.0설치및 설정 총관리자 2016.11.14 160
51 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 총관리자 2016.01.14 158
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로