메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. CDH5설치에서 자동생성되는 사용자 계정및 계정이 사용하는 프로그램 목록

   (다음 사용자의 group은 hadoop임)

 가. 사용자 hdfs : HDFS(NameNode, DataNodes, Standby NameNode(HA를 구성하는 경우))

 나. 사용자 yarn : YARN(ResourceManager, NodeManager)

 다. 사용자 mapred : YARN(MapReduce Job History Server)


2. HDFS및 MapReduce가 사용하는 폴더의 권한 (Local파일 시스템)

 가. dfs.namenode.name.dir : hdfs:hdfs, drwx------

 나. dfs.datanode.data.dir : hdfs:hdfs, drwx------

 다. yarn.nodemanager.local-dirs : yarn:yarn, drwxr-xr-x

 라. yarn.nodemanager.log-dirs : yarn:yarn, drwxr-xr-x

 마. container-executor : root:yarn --Sr-s---

 바. conf/container-executor.cfg : root:yarn, r--------


3. HDFS, YARN, MapReduce log디렉토리 권한 (Local파일 시스템)

   (예, /var/log/hadoop-hdfs, /var/loghadoop-yarn, /var/log/hadoop-mapreduce)

 가. HDFS_LOG_DIR : hdfs:hdfs, drwxrwxr-x

 나. $YARN_LOG_DIR : yarn:yarn, drwxrwxr-x

 다. MAPRED_LOG_DIR : mapred:mapred, drwxrwxr-x


4. HDFS상의 디렉토리 권한(HDFS)

 가. /(root directory) : hdfs:hadoop, drwxr-xr-x

 나. yarn.nodemanager.remote-app-log-dir : yarn:hadoop, drwxrwxrwxt

 다. mapreduce.jobhistory.intermediate-done-dir : mapred:hadoop, drwxrwxrwxt

 라. mapreduce.jobhistory.done-dir : mapred:hadoop, drwxr-x---


5. HDFS디렉토리의 권한 변경방법(HDFS)

$ sudo -u hdfs hdfs dfs -chown hdfs:hadoop /

$ sudo -u hdfs hdfs dfs -chmod 755 /

$ sudo -u hdfs hdfs dfs -chown yarn:hadoop [yarn.nodemanager.remote-app-log-dir]

$ sudo -u hdfs hdfs dfs -chmod 1777 [yarn.nodemanager.remote-app-log-dir]

$ sudo -u hdfs hdfs dfs -chown mapred:hadoop [mapreduce.jobhistory.intermediate-done-dir]

$ sudo -u hdfs hdfs dfs -chmod 1777 [mapreduce.jobhistory.intermediate-done-dir]

$ sudo -u hdfs hdfs dfs -chown mapred:hadoop [mapreduce.jobhistory.done-dir]

$ sudo -u hdfs hdfs  dfs -chmod 750 [mapreduce.jobhistory.done-dir]


6. /tmp및 /user/history디렉토리 생성및 권한 부여(Local)

$ sudo -u hdfs hadoop fs -mkdir /tmp

$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp


$ sudo -u hdfs hadoop fs -mkdir -p /user/history

$ sudo -u hdfs hadoop fs -chmod -R 1777 /user/history

$ sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history


번호 제목 글쓴이 날짜 조회 수
641 you are accessing a non-optimized hue please switch to one of the available addresses 총관리자 2021.10.06 45
640 webid에서 google처럼 검색할 수 있도록 하는 프로그램 총관리자 2017.05.16 46
639 halyard의 console스크립트에서 생성한 repository는 RDF4J Web Applications에서 공유가 되지 않는다. 총관리자 2017.07.05 46
638 hadoop cluster구성된 노드를 확인시 Capacity를 보면 색이 붉은색으로 표시되어 있는 경우나 Unhealthy인 경우 처리방법 총관리자 2017.08.30 46
637 특정 단계의 commit상태로 만들기(이렇게 하면 중간에 반영된 모든 commit를 history가 삭제된다) 총관리자 2016.11.17 47
636 "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” 총관리자 2016.06.02 48
635 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 총관리자 2022.04.14 48
634 "bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])" 오류는 CA인증을 하지 못해서 발생함 총관리자 2022.05.13 48
633 워킹 메모리에 대한 정보를 처리하는 클래스 파일 총관리자 2016.07.21 49
632 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 총관리자 2016.08.09 49
631 [oneM2M]Ontologies used for oneM2M 총관리자 2017.08.02 49
630 Cloudera Manager 5.x설치시 embedded postgresql를 사용하는 경우의 관리정보 총관리자 2018.04.13 49
629 lombok설치방법 총관리자 2020.06.20 49
628 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 총관리자 2022.04.01 49
627 spark 온라인 책자링크 (제목 : mastering-apache-spark) 총관리자 2016.05.25 51
626 S2RDF를 이용한 다른 버젼의 github링크 총관리자 2016.12.02 51
625 파일명 혹은 확장자 일괄 변경하는 방법 총관리자 2017.01.26 51
624 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용하여 repository에 CRUD테스트 총관리자 2017.08.30 51
623 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 총관리자 2022.03.21 51
622 jar파일의 dependency찾는 프로그램 총관리자 2016.08.11 52

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로