메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


*출처 : http://cdecl.tistory.com/307


1. 다운로드

https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries/releases


2. 성치

가. 다운로드 받은 파일(hadoop-2.7.1.tar.gz)을 적절한 위치(예, C:devhadoop)에 복사하고 압축을 푼다.


3. 환경변수를 설정한다.

가. HADOOP_HOME=C:devhadoophadoop-2.7.1

나. JAVA_HOME=(필요시)

다. PATH=%PATH%;C:devhadoophadoop-2.7.1bin


4. Hadoop 설정

가. %HADOOP_HOME%etchadoopcore-site.xml
- Hadoop 인터페이스 서비스 URI 설정
- 외부로 서비스 노출 하고  싶다면 hdfs://0.0.0.0:9000 으로 세팅


<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>


나. %HADOOP_HOME%etchadoophdfs-site.xml
- dfs.replication 블록 복제, 파일 복제 개수를 지정
- namenode 와 datanode 의 경로를 지정 (옵션), 지정하지 않으면 /tmp 밑에 생성함
- file:/ 이 경로는 현재 드라이브 루트를 의미 (c: or d:)


<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/hadoop/data/dfs/namenode</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/hadoop/data/dfs/datanode</value>
 </property>
</configuration>


다. %HADOOP_HOME%etchadoopyarn-site.xml

- yarn 설정 및 hadoop 어플리케이션 classpath 설정


<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
       <name>yarn.application.classpath</name>
       <value>
            %HADOOP_HOME%etchadoop,
            %HADOOP_HOME%sharehadoopcommon*,
            %HADOOP_HOME%sharehadoopcommonlib*,
            %HADOOP_HOME%sharehadoopmapreduce*,
            %HADOOP_HOME%sharehadoopmapreducelib*,
            %HADOOP_HOME%sharehadoophdfs*,
            %HADOOP_HOME%sharehadoophdfslib*,        
            %HADOOP_HOME%sharehadoopyarn*,
            %HADOOP_HOME%sharehadoopyarnlib*
       </value>
    </property>
</configuration>


라. %HADOOP_HOME%etchadoopmapred-site.xml
- 맵리듀스 런타임 프레임웍 설정


<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>


5. Namenode를 format한다.

%HADOOP_HOME%binhdfs namenode -format


6. HDFS, YARN 데몬 실행

%HADOOP_HOME%sbinstart-dfs
%HADOOP_HOME%sbinstart-yarn

--> console창이 각각 2개씩 총 4개가 실행되면서 각각의 서비스 시작됨


7. 서비스 확인

- http://localhost:8042 - Resource Manager and Node Manager :
- http://localhost:50070 - Namenode

* http://localhost:9000 - Service URI


8. test

가. hdfs dfs -mkdir -p /user/gooper/data

나. hdfs dfs -ls /

다. hdfs dfs -put c:tmpdata* /user/gooper/data

라. hdfs dfs -ls /user/gooper/data

번호 제목 날짜 조회 수
708 [impala]insert into db명.table명 select a, b from db명.table명 쿼리 수행시 "Memory limit exceeded: Failed to allocate memory for Parquet page index"오류 조치 방법 2023.05.31 4640
707 Impala Admission Control 설정시 쿼리가 사용하는 메모리 사용량 판단 방법 2023.05.19 2109
706 [Atlas Server]org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=atlas/node01.gooper.com@GOOPER.COM, scope=default:atlas_janus, params=[table=default:atlas_janus,], action-CREATE)] 2023.05.15 2287
705 [Solr in Cloudera]Solr Data Directory변경 방법/절차 2023.04.21 2176
704 [Ranger]계정에 admin권한(grant, create등)의 권한 부여 방법 2023.04.18 2236
703 [DataNode]org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: hdfs/datanode03@GOOPER.COM from keytab hdfs.keytab오류 2023.04.18 7378
702 [KUDU] kudu tablet server여러가지 원인에 의해서 corrupted상태가 된 경우 복구방법 2023.03.28 2667
701 Hadoop Clsuter에 이미 포함된 host의 hostname변경시 처리 절차 2023.03.24 2476
700 [Kudu]ERROR: Unable to advance iterator for node with id '2' for Kudu table 'impala::core.pm0_abdasubjct': Network error: recv error from unknown peer: Transport endpoint is not connected (error 107) 2023.03.16 3508
699 hive의 메타정보 테이블을 MariaDB로 사용하는 경우 table comment나 column comment에 한글 입력시 깨지는 경우 utf8로 바꾸는 방법. 2023.03.10 2372
698 [Hive canary]Hive에 Metastore canary red alert및 hive log파일에 Duplicate entry '123456' for key 'NOTIFICATION_LOG_EVENT_ID'가 발생시 조치사항 2023.03.10 1963
697 호출 url현황 2023.02.21 1004
696 ./gradlew :composeDown 및 ./gradlew :composeUp 를 성공했을때의 메세지 2023.02.20 848
695 [ftgo_application]Unable to infer base url오류 발생시 조치방법 2023.02.20 2829
694 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified 2023.02.02 1978
693 [Kerberos]병렬 kinit 호출시 cache파일이 손상되어 Bad format in credentials cache 혹은 No credentials cache found 혹은 Internal credentials cache error 오류 발생시 2023.01.20 2326
692 [HA구성 이슈]oozie 2대를 L4로 HA구성했을때 발생하는 이슈 2023.01.17 2696
691 [Impala 3.2버젼]compute incremental stats db명.테이블명 수행시 ERROR: AnalysisException: Incremental stats size estimate exceeds 2000.00MB. 오류 발생원인및 조치방안 2022.11.30 2354
690 [oozie]oozie ssh action으로 패스워드 없이 다른 서버에 ssh로그인 하여 shellscript호출하는 설정하는 방법 2022.11.10 2480
689 kudu의 내부 table명 변경하는 방법 2022.11.10 2021
위로