메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


fuseki에서 전체개수를 확인(예, count all)하고 heap memory의 사용량이 급격하게 증가하면서 heap memory를 거의 다 소진하는 상태가 되고 전체 성능이 급격하게 떨어지는 문제가 발생하여 memory분석을 해보면 아래와 같은 클래스가 대부분의 메모리를 점유하고 있다.

-------------메모리 점유 클래스--------------

org.apache.jena.tdb.transaction.NodeTableTrans

org.apache.jena.tdb.transaction.BlockMgrJournal

org.apache.jena.tdb.store.DatasetGraphTDB


원인은 정확히 모르겠고 일단은 fuseki-server 데몬을 찾아 kill한 후에 재기동 해주어야 서비스가 가능해진다.


fuseki-count-all_0.png


fuseki-count-all_1.png



번호 제목 글쓴이 날짜 조회 수
401 ntp시간 맞추기 총관리자 2018.09.12 249
400 kafka의 re-balance를 이용하여 consumer를 multi thread로 돌려서 topic의 partitions을 활용 총관리자 2015.03.31 248
399 부팅을 외장하드에서 하도록 변경하는 방법 총관리자 2015.07.28 247
398 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 총관리자 2018.01.25 246
397 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 총관리자 2018.05.23 244
396 ResultSet에서 데이타를 List<Map<String,String>>형태로 만들어서 리턴하는 소스(Collections.sort를 이용한 정렬 가능) 총관리자 2016.12.15 244
395 cumulusRDF 1.0.1설치및 "KeyspaceCumulus" keyspace확인하기 file 총관리자 2016.04.15 244
394 [우분투] suppoie 채굴 프로세스 발생시 자동으로 삭제하는 shell프로그램 총관리자 2018.04.01 243
393 Hbase API를 이용하여 scan시 페이징을 고려하여 목록을 가져올때 사용할 수 있는 로직의 예시를 보여줌 총관리자 2017.04.26 239
392 [Dovecot] -ERR [SYS/PERM] Permission denied 총관리자 2017.06.13 238
391 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 총관리자 2016.08.12 238
390 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 총관리자 2017.07.26 236
389 AIX 7.1에 Hadoop설치(정리중) 총관리자 2016.09.12 236
388 Scala에서 countByWindow를 이용하기(예제) 총관리자 2018.03.08 235
387 AIX 7.1에서 hive실행시 "hive: line 86: readlink: command not found" 오류가 발생시 임시 조치사항 총관리자 2016.09.25 234
386 CentOS에서 리눅스(Linux) 포트 열기, 방화벽 설정/해제 등. 총관리자 2016.03.14 231
385 HDFS 파일및 디렉토리 생성시 생성방법에 따라 권한이 다르게 부여된다. gooper 2022.05.30 228
384 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 총관리자 2018.06.06 228
383 hive 0.13.1 설치 + meta정보는 postgresql 9.3에 저장 총관리자 2015.04.30 227
382 [보안/인증]javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target발생 원인/조치내용 gooper 2023.10.24 226

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로