메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


*출처 : http://cdecl.tistory.com/307


1. 다운로드

https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries/releases


2. 성치

가. 다운로드 받은 파일(hadoop-2.7.1.tar.gz)을 적절한 위치(예, C:devhadoop)에 복사하고 압축을 푼다.


3. 환경변수를 설정한다.

가. HADOOP_HOME=C:devhadoophadoop-2.7.1

나. JAVA_HOME=(필요시)

다. PATH=%PATH%;C:devhadoophadoop-2.7.1bin


4. Hadoop 설정

가. %HADOOP_HOME%etchadoopcore-site.xml
- Hadoop 인터페이스 서비스 URI 설정
- 외부로 서비스 노출 하고  싶다면 hdfs://0.0.0.0:9000 으로 세팅


<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>


나. %HADOOP_HOME%etchadoophdfs-site.xml
- dfs.replication 블록 복제, 파일 복제 개수를 지정
- namenode 와 datanode 의 경로를 지정 (옵션), 지정하지 않으면 /tmp 밑에 생성함
- file:/ 이 경로는 현재 드라이브 루트를 의미 (c: or d:)


<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/hadoop/data/dfs/namenode</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/hadoop/data/dfs/datanode</value>
 </property>
</configuration>


다. %HADOOP_HOME%etchadoopyarn-site.xml

- yarn 설정 및 hadoop 어플리케이션 classpath 설정


<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
       <name>yarn.application.classpath</name>
       <value>
            %HADOOP_HOME%etchadoop,
            %HADOOP_HOME%sharehadoopcommon*,
            %HADOOP_HOME%sharehadoopcommonlib*,
            %HADOOP_HOME%sharehadoopmapreduce*,
            %HADOOP_HOME%sharehadoopmapreducelib*,
            %HADOOP_HOME%sharehadoophdfs*,
            %HADOOP_HOME%sharehadoophdfslib*,        
            %HADOOP_HOME%sharehadoopyarn*,
            %HADOOP_HOME%sharehadoopyarnlib*
       </value>
    </property>
</configuration>


라. %HADOOP_HOME%etchadoopmapred-site.xml
- 맵리듀스 런타임 프레임웍 설정


<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>


5. Namenode를 format한다.

%HADOOP_HOME%binhdfs namenode -format


6. HDFS, YARN 데몬 실행

%HADOOP_HOME%sbinstart-dfs
%HADOOP_HOME%sbinstart-yarn

--> console창이 각각 2개씩 총 4개가 실행되면서 각각의 서비스 시작됨


7. 서비스 확인

- http://localhost:8042 - Resource Manager and Node Manager :
- http://localhost:50070 - Namenode

* http://localhost:9000 - Service URI


8. test

가. hdfs dfs -mkdir -p /user/gooper/data

나. hdfs dfs -ls /

다. hdfs dfs -put c:tmpdata* /user/gooper/data

라. hdfs dfs -ls /user/gooper/data

번호 제목 글쓴이 날짜 조회 수
669 [TLS/SSL]Kudu Master 설정하기 총관리자 2022.05.13 43
668 [TLS/SSL]Cloudera 6.3.4기준 Oozie Web UI TLS설정 항목및 설정값 총관리자 2022.05.13 13
667 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 총관리자 2022.05.13 42
666 [HIVESERVER2]프로세스의 thread및 stack trace를 덤프하는 방법(pstack, jstack) 총관리자 2022.05.11 77
665 [Hue]Hue의 메타정보를 담고 있는 desktop_document테이블과 desktop_document2의 관계 총관리자 2022.05.09 23
664 Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server 총관리자 2022.05.02 11
663 oozie webui접근시 id/pw를 물어보는 Windows보안 팝업창이 뜰때 확인/조치방법 총관리자 2022.05.02 9
662 [개발] 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 총관리자 2022.05.02 104
661 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 총관리자 2022.04.30 7
660 주문히스토리 조회 총관리자 2022.04.30 7
659 주문 생성 데이터 예시 총관리자 2022.04.30 0
658 restaurant-controller,에서 등록 예시 총관리자 2022.04.30 26
657 Could not authenticate, GSSException: No valid credentials provided (Mechanism level: Failed to find any kerberos tgt) 총관리자 2022.04.28 11
656 [oracle]10자리 timestamp값을 날짜로 변환하는 방법 총관리자 2022.04.14 13
655 [hive] hive.tbls테이블의 owner컬럼값은 hadoop.security.auth_to_local에 의해서 filtering된다. 총관리자 2022.04.14 45
654 collection생성혹은 collection조회시 Plugin init failure for [schema.xml] fieldType "pdate": Error loading class 'solr.IntField' 오류 조치사항 총관리자 2022.04.07 83
653 hue메타 정보를 저장(oracle DB)하는 내부 테이블을 이용하여 전체 테이블목록, 전체 코디네이터 목록, 코디네이터기준 workflow구조를 추출하는 쿼리문 총관리자 2022.04.01 35
652 HDFS에서 quota 설정 방법및 확인 방법 총관리자 2022.03.30 21
651 [oozie]Oozie WF수행시 단계별 ID넘버링 비교/설명 총관리자 2022.03.23 8
650 [application수행 로그]Failed to read the application application_123456789012_123456시 조치 방법 총관리자 2022.03.21 24

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로