메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


solr 데몬이 떠있는 동안 hadoop이 다운되고 hadoop을 재기동하여 서비스를 다시 시작하면 아래와 같은 오류가 발생할 수 있는데 이것은

hdfs://mycluster/user/root/solr/gc/core_node2/data/index/밑에 write.lock파일이 존재해서 발생하는 오류임.

이 파일을 지우고 solr데몬을 다시 기동하면 오류가 없이 정상적으로 서비스 가능하다.


확인 : hdfs dfs -ls hdfs://mycluster/user/root/solr/gc/core_node1/data/index

조치 : hdfs dfs -rm hdfs://mycluster/user/root/solr/gc/core_node1/data/index/write.lock


---------------오류내용---------------

 Caused by: org.apache.solr.common.SolrException: Index dir 'hdfs://mycluster/user/root/solr/gc/core_node2/data/index/' of core 'gc_shard1_replica2' is already locked. The most likely cause is
 another Solr server (or another solr core in this server) also configured to use this directory; other possible causes may be specific to lockType: hdfs
        at org.apache.solr.core.SolrCore.<init>(SolrCore.java:815)
        at org.apache.solr.core.SolrCore.<init>(SolrCore.java:688)
        at org.apache.solr.core.CoreContainer.create(CoreContainer.java:838)
        at org.apache.solr.core.CoreContainer.lambda$load$0(CoreContainer.java:494)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor.lambda$execute$0(ExecutorUtil.java:229)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        ... 1 more
Caused by: org.apache.lucene.store.LockObtainFailedException: Index dir 'hdfs://mycluster/user/root/solr/gc/core_node2/data/index/' of core 'gc_shard1_replica2' is already locked. The most li
kely cause is another Solr server (or another solr core in this server) also configured to use this directory; other possible causes may be specific to lockType: hdfs
        at org.apache.solr.core.SolrCore.initIndex(SolrCore.java:570)
        at org.apache.solr.core.SolrCore.<init>(SolrCore.java:762)
        ... 8 more

번호 제목 글쓴이 날짜 조회 수
539 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 총관리자 2018.06.08 196
538 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 총관리자 2018.06.06 228
537 JAVA_HOME을 명시적으로 지정하는 방법 총관리자 2018.06.04 165
536 spark 시동중 applicationHistory 로그 디렉토리가 없다고 하면서 기동되지 않는 경우 총관리자 2018.06.01 153
535 impala2를 Cloudera Manager가 아닌 수동으로 설치하는 방법 총관리자 2018.05.30 280
534 MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여 총관리자 2018.05.30 190
533 HUE를 사용할 사용자를 추가 하는 절차 총관리자 2018.05.29 366
532 JobHistory 서버 기동시 HDFS상에 특정 폴더를 생성할 수 없어서 기동하지 못하는 경우 조치 총관리자 2018.05.29 2898
531 DataNode를 기동할때 "Block pool ID needed, but service not yet registered with NN" 오류 발생에 따른 조치사항 총관리자 2018.05.28 960
530 Cloudera Manager설치및 Uninstall 방법(순서) 총관리자 2018.05.28 1641
529 우분투 서버에 GUI로 접속하기 file 총관리자 2018.05.27 212
528 Cloudera Manager재설치하는 동안 "Host is in bad health"오류가 발생하는 경우 확인/조치 사항 총관리자 2018.05.24 88
527 "You are running Cloudera Manager in non-production mode.." warning메세지가 나타나지 않게 조치하는 방법 총관리자 2018.05.23 64
526 oozie db변경후 재기동시 "Table 'oozie.VALIDATE_CONN' doesn't exist" 오류 발생시 조치방법 총관리자 2018.05.23 244
525 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 총관리자 2018.05.22 169
524 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 총관리자 2018.05.22 450
523 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 총관리자 2018.05.22 140
522 Cloudera Hadoop and Spark Developer Certification 준비(참고) 총관리자 2018.05.16 32
521 tar를 이용한 리눅스 백업 총관리자 2018.05.13 35
520 crypto관련 기생충 박멸 스크립트 총관리자 2018.05.11 1340

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로