메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. hdd를 추가하고 mounting한다.

https://www.gooper.com/ss/index.php?mid=bigdata&category=2772&document_srl=2984 를 참조할것..


2. /app/hdd 폴더밑에 hadoop폴더를 job을 수행할 계정(예, hadoop)으로 생성한다

    (혹시 start-all.sh기동후 hadoop폴더 밑에 생성된 폴더가 root계정으로 생성되면.. 

    chown -R hadoop:hadoop hadoop을 실행하여 모두 hadoop계정으로 전환시켜준다.)


3. conf파일들의 경로를 수정함

   가. core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

   <name>fs.default.name</name>

   <value>hdfs://master:9000</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

   <!-- value>/tmp/hadoop-${user.name}</value -->

   <!-- value>/home/${user.name}/work/tmp</value -->

   <value>/app/hdd/hadoop/tmp</value>

</property>

</configuration>


   나. hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
   <name>ds.replication</name>
   <value>2</value>
</property>
<property>
   <name>dfs.name.dir</name>
   <!-- value>/home/hadoop/work/name</value -->
   <!-- value>/home/${user.name}/work/name</value -->
   <value>/app/hdd/hadoop/name</value>
</property>
<property>
   <name>dfs.data.dir</name>
   <!-- value>/home/hadoop/work/data</value -->
   <!-- value>/home/${user.name}/work/data</value -->
   <value>/app/hdd/hadoop/data</value>
</property>
<property>
   <name>dfs.support.append</name>
   <value>true</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>true</value>
</property>
</configuration>

   다. mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

   <name>mapred.job.tracker</name>

   <value>hdfs://master:9001</value>

</property>

<property>

   <name>mapred.system.dir</name>

   <!-- value>/home/hadoop/work/mapred/system</value -->

   <!-- value>/home/${user.name}/work/mapred/system</value -->

   <value>/app/hdd/hadoop/mapred/system</value>

</property>

   <property>

      <name>hadoop.proxyuser.hadoop.groups</name>

      <!-- value>*</value -->

      <value>root,hadoop</value>

   </property>

   <property>

      <name>hadoop.proxyuser.hadoop.hosts</name>

      <value>*</value>

      <!-- value>localhost</value -->

   </property>

<property>

  <name>mapreduce.jobtracker.staging.root.dir</name>

  <!-- value>/home/hadoop/work/tmp/mapred/staging</value -->

  <value>/user</value>

</property>

</configuration>


4. namenode를 format

   hadoop namenode -format


5. 데몬을 모두 기동함

   start-all.sh


6. hdfs상에 /user밑으로 hadoop계정을 생성한다.

   hadoop fs -mkdir /user/hadoop을 생성함


7. test

번호 제목 글쓴이 날짜 조회 수
101 ubuntu 커널 업그레이드 방법 총관리자 2018.09.02 1416
100 우분투 16.04 LTS에 apache2와 tomcat7 연동하여 설치하기 총관리자 2014.05.09 1429
99 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 총관리자 2014.09.10 1450
98 마이바티스(MyBatis)쿼리로그 출력및 정렬하기 총관리자 2015.12.01 1456
97 oozie의 meta정보를 mysql에서 관리하기 총관리자 2014.05.26 1466
96 hiverserver2기동시 connection refused가 발생하는 경우 조치방법 총관리자 2014.05.22 1473
95 jsoup 사용 예제 총관리자 2014.06.06 1506
94 centsOS vsftpd설치하기 총관리자 2013.12.17 1515
93 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 총관리자 2016.07.29 1518
92 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 총관리자 2014.08.19 1522
91 physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 총관리자 2018.09.20 1522
90 sqoop에서 oracle관련 작업할때 테이블명, 사용자명, DB명은 모두 대문자로 사용할것 총관리자 2014.05.15 1528
89 Jena 2.3를 Hadoop 2.7.2의 NFS로 mount하고 fuseki를 이용하여 start할때 오류 메세지 총관리자 2016.12.02 1557
88 centos 5.X에 hadoop 2.0.5 alpha 설치 총관리자 2013.12.16 1581
87 impald에서 idle_query_timeout 와 idle_session_timeout 구분 총관리자 2021.05.20 1630
86 Cloudera Manager설치및 Uninstall 방법(순서) 총관리자 2018.05.28 1645
85 hue db에서 사용자가 가지는 정보 확인 총관리자 2020.02.10 1645
84 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 총관리자 2017.07.19 1692
83 index생성, 삭제, 활용 총관리자 2014.04.25 1702
82 List<Map<String, String>>형태의 데이타에서 중복제거 하는 방법 총관리자 2016.12.23 1716

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로