메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Cloudera CDH/CDP MapReduce2.0(YARN)기반의 CDH5 설치시 생성되는 사용자및 권한 부여

총관리자 2018.05.30 10:50 조회 수 : 4538

1. CDH5설치에서 자동생성되는 사용자 계정및 계정이 사용하는 프로그램 목록

   (다음 사용자의 group은 hadoop임)

 가. 사용자 hdfs : HDFS(NameNode, DataNodes, Standby NameNode(HA를 구성하는 경우))

 나. 사용자 yarn : YARN(ResourceManager, NodeManager)

 다. 사용자 mapred : YARN(MapReduce Job History Server)


2. HDFS및 MapReduce가 사용하는 폴더의 권한 (Local파일 시스템)

 가. dfs.namenode.name.dir : hdfs:hdfs, drwx------

 나. dfs.datanode.data.dir : hdfs:hdfs, drwx------

 다. yarn.nodemanager.local-dirs : yarn:yarn, drwxr-xr-x

 라. yarn.nodemanager.log-dirs : yarn:yarn, drwxr-xr-x

 마. container-executor : root:yarn --Sr-s---

 바. conf/container-executor.cfg : root:yarn, r--------


3. HDFS, YARN, MapReduce log디렉토리 권한 (Local파일 시스템)

   (예, /var/log/hadoop-hdfs, /var/loghadoop-yarn, /var/log/hadoop-mapreduce)

 가. HDFS_LOG_DIR : hdfs:hdfs, drwxrwxr-x

 나. $YARN_LOG_DIR : yarn:yarn, drwxrwxr-x

 다. MAPRED_LOG_DIR : mapred:mapred, drwxrwxr-x


4. HDFS상의 디렉토리 권한(HDFS)

 가. /(root directory) : hdfs:hadoop, drwxr-xr-x

 나. yarn.nodemanager.remote-app-log-dir : yarn:hadoop, drwxrwxrwxt

 다. mapreduce.jobhistory.intermediate-done-dir : mapred:hadoop, drwxrwxrwxt

 라. mapreduce.jobhistory.done-dir : mapred:hadoop, drwxr-x---


5. HDFS디렉토리의 권한 변경방법(HDFS)

$ sudo -u hdfs hdfs dfs -chown hdfs:hadoop /

$ sudo -u hdfs hdfs dfs -chmod 755 /

$ sudo -u hdfs hdfs dfs -chown yarn:hadoop [yarn.nodemanager.remote-app-log-dir]

$ sudo -u hdfs hdfs dfs -chmod 1777 [yarn.nodemanager.remote-app-log-dir]

$ sudo -u hdfs hdfs dfs -chown mapred:hadoop [mapreduce.jobhistory.intermediate-done-dir]

$ sudo -u hdfs hdfs dfs -chmod 1777 [mapreduce.jobhistory.intermediate-done-dir]

$ sudo -u hdfs hdfs dfs -chown mapred:hadoop [mapreduce.jobhistory.done-dir]

$ sudo -u hdfs hdfs  dfs -chmod 750 [mapreduce.jobhistory.done-dir]


6. /tmp및 /user/history디렉토리 생성및 권한 부여(Local)

$ sudo -u hdfs hadoop fs -mkdir /tmp

$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp


$ sudo -u hdfs hadoop fs -mkdir -p /user/history

$ sudo -u hdfs hadoop fs -chmod -R 1777 /user/history

$ sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
556 컬럼및 라인의 구분자를 지정하여 sqoop으로 데이타를 가져오고 hive테이블을 생성하는 명령문 2018.08.03 4805
555 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 2018.08.03 4636
554 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 7423
553 RHEL 7.4에 zeppelin 0.7.4 설치 2018.07.31 4748
552 conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0) 2018.07.30 4507
551 anaconda3 (v5.2) 설치및 머신러닝 관련 라이브러리 설치 절차 2018.07.27 5265
550 anaconda3(v5.4)를 이용하여 tensorflow설치후 ipython프로그램을 실행하여 import할때 오류발생시 조치 2018.07.27 4174
549 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 5393
548 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 3659
547 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 2018.07.15 4312
546 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 4413
545 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 6220
544 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 5822
543 하둡기반 데이타 모델링(6편) 2018.06.27 2857
542 CDH에서 Sentry 개념및 설정 file 2018.06.21 4162
541 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 2018.06.20 4534
540 dr.who로 공격들어오는 경우 조치방법 file 2018.06.09 7995
539 spark-shell을 실행하면 "Attempted to request executors before the AM has registered!"라는 오류가 발생하면 2018.06.08 3248
538 SCM서비스를 추가하는 동안 Unexpected error. Unable to verify database connection. 오류발생시 확인 사항 2018.06.08 4802
537 Cloudera Manager에서 "Mismatched CDH versions: host has NONE but role expects 5 Suppress..."와 같이 오류 발생시 확인사항 2018.06.06 4281
쓰기 태그
위로