메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. hdd를 추가하고 mounting한다.

https://www.gooper.com/ss/index.php?mid=bigdata&category=2772&document_srl=2984 를 참조할것..


2. /app/hdd 폴더밑에 hadoop폴더를 job을 수행할 계정(예, hadoop)으로 생성한다

    (혹시 start-all.sh기동후 hadoop폴더 밑에 생성된 폴더가 root계정으로 생성되면.. 

    chown -R hadoop:hadoop hadoop을 실행하여 모두 hadoop계정으로 전환시켜준다.)


3. conf파일들의 경로를 수정함

   가. core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

   <name>fs.default.name</name>

   <value>hdfs://master:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

   <!-- value>/tmp/hadoop-${user.name}</value -->

   <!-- value>/home/${user.name}/work/tmp</value -->

   <value>/app/hdd/hadoop/tmp</value>

</property>

</configuration>


   나. hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
   <name>ds.replication</name>
   <value>2</value>
</property>
<property>
   <name>dfs.name.dir</name>
   <!-- value>/home/hadoop/work/name</value -->
   <!-- value>/home/${user.name}/work/name</value -->
   <value>/app/hdd/hadoop/name</value>
</property>
<property>
   <name>dfs.data.dir</name>
   <!-- value>/home/hadoop/work/data</value -->
   <!-- value>/home/${user.name}/work/data</value -->
   <value>/app/hdd/hadoop/data</value>
</property>
<property>
   <name>dfs.support.append</name>
   <value>true</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>true</value>
</property>
</configuration>

   다. mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

   <name>mapred.job.tracker</name>

   <value>hdfs://master:9001</value>

</property>

<property>

   <name>mapred.system.dir</name>

   <!-- value>/home/hadoop/work/mapred/system</value -->

   <!-- value>/home/${user.name}/work/mapred/system</value -->

   <value>/app/hdd/hadoop/mapred/system</value>

</property>

   <property>

      <name>hadoop.proxyuser.hadoop.groups</name>

      <!-- value>*</value -->

      <value>root,hadoop</value>

   </property>

   <property>

      <name>hadoop.proxyuser.hadoop.hosts</name>

      <value>*</value>

      <!-- value>localhost</value -->

   </property>

<property>

  <name>mapreduce.jobtracker.staging.root.dir</name>

  <!-- value>/home/hadoop/work/tmp/mapred/staging</value -->

  <value>/user</value>

</property>

</configuration>


4. namenode를 format

   hadoop namenode -format


5. 데몬을 모두 기동함

   start-all.sh


6. hdfs상에 /user밑으로 hadoop계정을 생성한다.

   hadoop fs -mkdir /user/hadoop을 생성함


7. test

번호 제목 글쓴이 날짜 조회 수
319 It is indirectly referenced from required .class files 오류 발생시 조치방법 총관리자 2017.03.09 93
318 HA(Namenode, ResourceManager, Kerberos) 및 보안(Zookeeper, Hadoop) 총관리자 2018.03.16 93
317 [TLS/SSL]Cloudera CDH6.3.4기준 Hue TLS설정 항목 총관리자 2022.05.13 93
316 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 총관리자 2016.08.02 97
315 참고할만한 spark예제를 설명하는 사이트 총관리자 2016.11.11 98
314 Hue Load Balancer를 L4로 L/B하는 경우는 L4쪽 도멘인으로 발행된 인증서를 TLS/SSL항목에 설정해주어야 한다. 총관리자 2021.10.08 101
313 [AD(LADP)] CDP1.7에서 AD및 Kerberos를 연동해도 각 노드에 os account, os group은 생성되어야 하지만 SSSD서비스를 이용하면 직접 생성될 필요가 없다. gooper 2022.06.10 105
312 centos 6에서 mariadb 5.1 to 10.0 으로 upgrade 총관리자 2016.11.01 106
311 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 총관리자 2017.01.12 106
310 [Impala TLS/SSL이슈]RangerAdminRESTClient.java:151] Failed to get response, Error is: TrustManager is not specified gooper 2023.02.02 106
309 impala external 테이블 생성시 컬럼과 라인 구분자를 지정하여 테이블 생성하는 예시 총관리자 2020.02.20 107
308 hue.axes_accessattempt테이블 데이터 샘플 총관리자 2020.02.10 108
307 kudu 테이블 metadata강제 삭제시 발생하는 오류 메세지 총관리자 2022.01.12 109
306 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 총관리자 2018.04.20 110
305 [CDP7.1.7]BDR작업후 오류로 Diagnostic Data를 수집하는 동안 "No content to map due to end-of-input at [Source: (String)""; line: 1, column: 0]" 오류 발생시 조치 gooper 2024.02.20 112
304 Impala daemon기동시 "Could not create temporary timezone file"오류 발생시 조치사항 총관리자 2018.03.29 113
303 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다. 총관리자 2019.05.20 114
302 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 117
301 tablet별 disk사용량 확인하는 방법 총관리자 2021.08.27 118
300 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 총관리자 2016.09.24 119

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로