메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


hadoop hfs gateway를 설정하고 Client 파일 시스템에서 mount하여 사용하는 방법이 아래와 같이 Cloudera Page에 설명되어 있다. 

주의할것은 export point를 지정해야 default로 HDFS의 최상위(/)가 노출되지 않는다. 

(예를 들어 HDFS상에 /DATA/TEST/NFS를 지정하려면 아래와 같이 설정한다.

  1. HDFS폴더 생성(순서대로 한단계씩 생성할것)

      hdfs dfs -mkdir /DATA/TEST/NFS

  2. 폴더에 권한 부여(777을 부여하고 sticky bit를 설정해서 여러 사용자가 이곳을 사용할 수 있도록 한다)

       hdfs dfs -chmod 777 /DATA/TEST/NFS

       hdfs dfs -chmod +t /DATA/TEST/NFS

  3. export point 항목에 DATA/TEST/NFS를 등록하고 저장/Hadoop NFS gateway를 restart하여 반영해준다. 

)


클라이언트에서의 마운트 명령 예시(물론 /tmp/nfs는 OS상에 미리 mkdir /tmp/nfs로 만들어 두어야함)..  

  sudo mount -t nfs -o vers=3,proto=tcp,nolock xxx.xxx.xxx.xxx:/DATA/TEST/NFS /tmp/nfs


마운트된 HDFS폴더는 Client쪽에서 권한/소유자/그룹등을 변경할 수 없다.

그래서 필요시 hdfs dfs 명령으로 권한등의 속성을 바꿔 주면 /tm/nfs에 즉시 반영된다. 


 


* Adding and Configuring the NFS Gateway Role

1. Go to the HDFS service.

2. Click the Instances tab.

3. Click Add Role Instances.

4. Click the text box below the NFS Gateway field. The Select Hosts dialog box displays.

5. Select the host on which to run the role and click OK.

6. Click Continue.

7. Click the NFS Gateway role.

8. Click the Configuration tab.

9. Select Scope > NFS Gateway.

10. Select Category > Main.

11. Ensure that the requirements on the directory set in the Temporary Dump Directory property are met.

   To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

12. Optionally edit Allowed Hosts and Privileges.

   To apply this configuration property to other role groups as needed, edit the value for the appropriate role group. See Modifying Configuration Properties Using Cloudera Manager.

13. Enter a Reason for change, and then click Save Changes to commit the changes.

14. Click the Instances tab.

15. Check the checkbox next to the NFS Gateway role and select Actions for Selected > Start.

번호 제목 글쓴이 날짜 조회 수
641 ubuntu 커널 업그레이드 방법 총관리자 2018.09.02 1416
640 flume 1.5.2 설치및 테스트(source : file, sink : hdfs) in HA 총관리자 2015.05.21 1415
639 crypto관련 기생충 박멸 스크립트 총관리자 2018.05.11 1340
638 ExWordCount jar파일 file 구퍼 2013.03.06 1336
637 [ftgo_application]Unable to infer base url오류 발생시 조치방법 gooper 2023.02.20 1326
636 우분투 root 패스워드 설정하기 구퍼 2013.03.04 1314
635 lagom-linux용 build.sbt파일 내용 총관리자 2017.10.12 1300
634 Oozie 설치, 환경설정 및 테스트 총관리자 2014.04.08 1293
633 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 총관리자 2016.07.08 1277
632 solr vs elasticsearch 비교2 총관리자 2014.09.29 1276
631 자주쓰는 유용한 프로그램 총관리자 2018.03.16 1268
630 The disk drive for uuid= is not ready yet or not present 오류 해결방법 총관리자 2014.04.21 1265
629 ubuntu 12.4에서 eclipse설치후 기동시 library(swt-gtk*)관련 오류 총관리자 2014.04.23 1261
628 거침없이 배우는 Drools 책의 샘플소스 file 총관리자 2016.07.22 1232
627 schema설정없이 hive를 최초에 실행했을때 발생하는 오류메세지및 처리방법 총관리자 2016.09.25 1226
626 json 값 다루기 총관리자 2014.04.17 1222
625 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 총관리자 2018.07.03 1220
624 zookeeper 3.4.6 설치(3대) 총관리자 2015.04.28 1210
623 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 총관리자 2018.06.28 1207
622 [kubernetes]우분투 Kubernetes 설치 방법 file 총관리자 2019.07.24 1205

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로