메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


*출처 : http://cdecl.tistory.com/307


1. 다운로드

https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries/releases


2. 성치

가. 다운로드 받은 파일(hadoop-2.7.1.tar.gz)을 적절한 위치(예, C:devhadoop)에 복사하고 압축을 푼다.


3. 환경변수를 설정한다.

가. HADOOP_HOME=C:devhadoophadoop-2.7.1

나. JAVA_HOME=(필요시)

다. PATH=%PATH%;C:devhadoophadoop-2.7.1bin


4. Hadoop 설정

가. %HADOOP_HOME%etchadoopcore-site.xml
- Hadoop 인터페이스 서비스 URI 설정
- 외부로 서비스 노출 하고  싶다면 hdfs://0.0.0.0:9000 으로 세팅


<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>


나. %HADOOP_HOME%etchadoophdfs-site.xml
- dfs.replication 블록 복제, 파일 복제 개수를 지정
- namenode 와 datanode 의 경로를 지정 (옵션), 지정하지 않으면 /tmp 밑에 생성함
- file:/ 이 경로는 현재 드라이브 루트를 의미 (c: or d:)


<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/hadoop/data/dfs/namenode</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/hadoop/data/dfs/datanode</value>
 </property>
</configuration>


다. %HADOOP_HOME%etchadoopyarn-site.xml

- yarn 설정 및 hadoop 어플리케이션 classpath 설정


<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
       <name>yarn.application.classpath</name>
       <value>
            %HADOOP_HOME%etchadoop,
            %HADOOP_HOME%sharehadoopcommon*,
            %HADOOP_HOME%sharehadoopcommonlib*,
            %HADOOP_HOME%sharehadoopmapreduce*,
            %HADOOP_HOME%sharehadoopmapreducelib*,
            %HADOOP_HOME%sharehadoophdfs*,
            %HADOOP_HOME%sharehadoophdfslib*,        
            %HADOOP_HOME%sharehadoopyarn*,
            %HADOOP_HOME%sharehadoopyarnlib*
       </value>
    </property>
</configuration>


라. %HADOOP_HOME%etchadoopmapred-site.xml
- 맵리듀스 런타임 프레임웍 설정


<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>


5. Namenode를 format한다.

%HADOOP_HOME%binhdfs namenode -format


6. HDFS, YARN 데몬 실행

%HADOOP_HOME%sbinstart-dfs
%HADOOP_HOME%sbinstart-yarn

--> console창이 각각 2개씩 총 4개가 실행되면서 각각의 서비스 시작됨


7. 서비스 확인

- http://localhost:8042 - Resource Manager and Node Manager :
- http://localhost:50070 - Namenode

* http://localhost:9000 - Service URI


8. test

가. hdfs dfs -mkdir -p /user/gooper/data

나. hdfs dfs -ls /

다. hdfs dfs -put c:tmpdata* /user/gooper/data

라. hdfs dfs -ls /user/gooper/data

번호 제목 글쓴이 날짜 조회 수
500 룰에 매칭되면 발생되는 엑티베이션 객체에 대한 작업(이전값 혹은 현재값)을 처리하는 클래스 파일 총관리자 2016.07.21 285
499 커리 변경 이벤트를 처리하기 위한 구현클래스 총관리자 2016.07.21 41
498 워킹 메모리에 대한 정보를 처리하는 클래스 파일 총관리자 2016.07.21 49
497 drools에서 drl관련 로그를 기록하기 위한 클래스 파일 총관리자 2016.07.21 74
496 ServerInfo객체파일 총관리자 2016.07.21 35
495 drools를 이용한 로그,rule matching등의 테스트 java프로그램 file 총관리자 2016.07.21 181
494 거침없이 배우는 Drools 책의 샘플소스 file 총관리자 2016.07.22 1232
493 슬라이딩 윈도우 예제 총관리자 2016.07.28 67
492 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 총관리자 2016.07.29 1518
491 hadoop클러스터를 구성하던 서버중 HA를 담당하는 서버의 hostname등이 변경되어 문제가 발생했을때 조치사항 총관리자 2016.07.29 362
490 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 126
489 bin/start-hbase.sh실행시 org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgraded오류가 발생하면 조치사항 총관리자 2016.08.01 205
488 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 총관리자 2016.08.02 97
487 build할때 unmappable character for encoding MS949 에러 발생시 조치사항 총관리자 2016.08.03 178
486 [SBT] project.sbt에 libraryDependencies에 필요한 jar를 지정했으나 sbt compile할때 클래스를 못찾는 오류가 발생했을때 조치사항 총관리자 2016.08.03 74
485 [SBT] SBT 사용법 정리(링크) 총관리자 2016.08.04 839
484 [SBT] assembly시 "[error] deduplicate: different file contents found in the following:"오류 발생시 조치사항 총관리자 2016.08.04 579
483 gradle을 이용하여 jar파일 생성시 provided속성을 지정할 수 있게 설정하는 방법 총관리자 2016.08.09 75
482 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 총관리자 2016.08.09 49
481 [Elephas] Jena Elephas를 이용하여 Spark에서 rdfTriples의 RDD를 만들고 RDD관련 작업하는 샘플소스 총관리자 2016.08.10 90

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로