메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop NFS gateway 서비스를 기동하여 외부에서 NFS에 mount하여 일반 파일 시스템에 데이터를 저장하고 읽을 수 있도록 할 수 있다.

이때 NFS gateway서비스의 설정에서 export point만 HDFS의 원하는 폴더의 full 경로로 설정해주고 HDFS폴더의 권한은 1777을 준다. 

그리고 NFS gateway서비스는 rpcbind서비스를 이용하므로 systemctl status rpcbind로 서비스 중인지 확인해야 한다. 

(rpcbind서비스는 /etc/hosts.deny, /etc/hosts.allow를 이용하므로 다음과 같은 설정(특히 rpcbind: localhost)이 필요하며 파일 권한은 rw- r-- r--로 설정되어 있어야 한다.

rpcbind: localhost가 /etc/hosts.allow파일에 설정되어 있지 않으면 NFS 서비스가 기동시 Cannot connect to port 2049오류가 발생한다.)

rpc에 등록된 서비스 확인은 sudo rpcinfo -p로 확인할 수 있다.

또한 NFS gateway서비스를 기동할때 내부적으로 nfs및 mountd서비스를 기동하므로 NFS gateway기동후에는 mountd, nfs서비스가 추가로 떠 있는것이 rpcinfo -p에서 확인된다.


* /etc/hosts.allow 예시

sshd: localhost \

space로 분리된 ip들


vsftpd: localhost \

space로 분리된 ip들


rpcbind: space로 분리된 ip들

rpcbind: localhost 


sshd: space로 분리된 ip들


* /etc/hosts.deny 예시 

ALL:ALL


* 참고 1 : RHEL/CentOS 8 에서 부터는 /etc/hosts.allow,deny 를 사용할 수 없음으로 firewalld 를 사용해야 하지만 따로 설정할 필요는 없음

* 참고 2 : 정상적으로 기동시 rpcinfo -p로 확인 했을때 다음과 같이 보여야 한다.

program vers proto port service

100000 4 tcp 111 portmapper

100000 3 tcp 111 portmapper

100000 2 tcp 111 portmapper

100000 4 udp 111 portmapper

100000 3 udp 111 portmapper

100000 2 udp 111 portmapper

100024 1 udp 44448 status

100024 1 tcp 54617 status

100005 1 udp 4242 mountd(자동으로 뜸)

100005 2 udp 4242 mountd(자동으로 뜸)

100005 3 udp 4242 mountd(자동으로 뜸)

100005 1 tcp 4242 mountd(자동으로 뜸)

100005 2 tcp 4242 mountd(자동으로 뜸)

100005 3 tcp 4242 mountd(자동으로 뜸)

100003 3 tcp 2049 nfs   (자동으로 뜸)


번호 제목 날짜 조회 수
447 엑셀에서 K ,M, G ,T 단위를 숫자로 변환 하는 수식 2025.04.09 1270
446 외부에서 ImpalaJDBC42.jar를 통해서 Impala에 접속시 sessions정보 2024.11.26 1628
445 Failed to resolve 'acme-v02.api.letsencrypt.org' ([Errno -3] Temporary failure in name resolution)" 2024.11.27 1918
444 [EncryptionZone]User:testuser not allowed to do "DECRYPT_EEK" on 'testkey' 2023.06.29 2097
443 운영계 하둡클러스터에 노드 4대를 EdgeNode로 추가하는 방법/절차 2025.01.12 2291
442 Hadoop 2.7.x에서 사용할 수 있는 파일/디렉토리 관련 util성 클래스 파일 2017.09.28 2346
441 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 2016.09.24 2403
440 Apache Kudu에서 동일한 이름의 테이블을 반복적으로 DROP → CREATE → INSERT하는 로직을 2분 간격으로 10회 수행할 때 발생할 수 있는 주요 이슈 2025.01.26 2423
439 테이블의 row수를 빠르게 카운트 하는 방법 2017.01.26 2518
438 JavaStreamingContext를 이용하여 스트림으로 들어오는 문자열 카운트 소스 2017.03.30 2551
437 org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException 오류시 조치사항 2016.07.14 2576
436 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.http.HttpConfig.getSchemePrefix()Ljava/lang/String; 해결->실패 2015.06.14 2614
435 mongodb 2.6.6 설치(64bit) 2015.09.30 2633
434 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 2634
433 Oracle 10g 혹은 12c 를 19c로 Upgrade시 Cloudera Cluster작업에 필요한 작업 2025.01.12 2667
432 HBase write 성능 튜닝 file 2017.07.18 2706
431 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 2018.03.16 2707
430 down된 broker로 메세지를 전송하려는 경우의 오류 내용및 조치사항 2016.08.12 2732
429 [CDP7.1.7, Replication]Encryption Zone내 HDFS파일을 비Encryption Zone으로 HDFS Replication시 User hdfs가 아닌 hadoop으로 수행하는 방법 2024.01.15 2739
428 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 2017.01.25 2763
위로