메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


solr 데몬이 떠있는 동안 hadoop이 다운되고 hadoop을 재기동하여 서비스를 다시 시작하면 아래와 같은 오류가 발생할 수 있는데 이것은

hdfs://mycluster/user/root/solr/gc/core_node2/data/index/밑에 write.lock파일이 존재해서 발생하는 오류임.

이 파일을 지우고 solr데몬을 다시 기동하면 오류가 없이 정상적으로 서비스 가능하다.


확인 : hdfs dfs -ls hdfs://mycluster/user/root/solr/gc/core_node1/data/index

조치 : hdfs dfs -rm hdfs://mycluster/user/root/solr/gc/core_node1/data/index/write.lock


---------------오류내용---------------

 Caused by: org.apache.solr.common.SolrException: Index dir 'hdfs://mycluster/user/root/solr/gc/core_node2/data/index/' of core 'gc_shard1_replica2' is already locked. The most likely cause is
 another Solr server (or another solr core in this server) also configured to use this directory; other possible causes may be specific to lockType: hdfs
        at org.apache.solr.core.SolrCore.<init>(SolrCore.java:815)
        at org.apache.solr.core.SolrCore.<init>(SolrCore.java:688)
        at org.apache.solr.core.CoreContainer.create(CoreContainer.java:838)
        at org.apache.solr.core.CoreContainer.lambda$load$0(CoreContainer.java:494)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor.lambda$execute$0(ExecutorUtil.java:229)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        ... 1 more
Caused by: org.apache.lucene.store.LockObtainFailedException: Index dir 'hdfs://mycluster/user/root/solr/gc/core_node2/data/index/' of core 'gc_shard1_replica2' is already locked. The most li
kely cause is another Solr server (or another solr core in this server) also configured to use this directory; other possible causes may be specific to lockType: hdfs
        at org.apache.solr.core.SolrCore.initIndex(SolrCore.java:570)
        at org.apache.solr.core.SolrCore.<init>(SolrCore.java:762)
        ... 8 more

번호 제목 날짜 조회 수
430 small file 한개 파일로 만들기(text file 혹은 parquet file의 테이블) 2022.07.04 3885
429 Namenode Metadata백업하는 방법 2020.02.10 3888
428 CDP에서 AD와 Kerberos를 활용하여 인증 환경을 구축하는 3가지 방법 2022.06.10 3894
427 Eclipse 에서 bitbucket.org 연동 하기 file 2017.06.08 3896
426 Mountable HDFS on CentOS 6.x(hadoop 2.7.2의 nfs기능을 이용) 2016.11.24 3898
425 lateral view 예제 2014.09.18 3905
424 특정문자열이나 URI를 임의로 select 절에 지정하여 사용할때 사용하는 sparql 문장 2016.08.25 3907
423 lagom의 online-auction-java프로젝트 실행시 외부의 kafka/cassandra를 사용하도록 설정하는 방법 2017.10.12 3919
422 python실행시 ValueError: zero length field name in format오류 해결방법 2016.05.27 3929
421 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 2017.02.03 3932
420 Apache Toree설치(Jupyter에서 Scala, PySpark, SparkR, SQL을 사용할 수 있도록 하는 Kernel) 2018.04.17 3933
419 A Cluster의 HDFS 디렉토리및 파일을 사용자및 권한 유지 하여 다운 받아서 B Cluster에 넣기 2020.05.06 3942
418 [sbt] sbt 0.13.11 를 windows에 설치하고 scala프로그램을 compile해서 jar파일 만들기 2016.07.11 3943
417 Drools 6.0 - 비즈니스 룰 기반으로 간단한 룰 애플리케이션 만들기 file 2016.07.18 3946
416 oracle 12에 sqoop해서 데이터 import하기 (console에서 sqoop import하는 방법) 2021.12.31 3952
415 kafka에서 메세지 중복 consume이 발생할 수 있는 상황 2018.10.23 3953
414 CDH에서 Sentry 개념및 설정 file 2018.06.21 3965
413 cloudera-scm-agent 설정파일 위치및 재시작 명령문 2018.03.29 3968
412 Cloudera Manager web UI의 언어를 한글에서 영문으로 변경하기 2018.04.03 3968
411 queryTranslator실행시 NullPointerException가 발생전에 java.lang.ArrayIndexOutOfBoundsException발생시 조치사항 2016.06.16 3971
위로