메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop hortonworks에서 제공하는 메모리 설정값 계산기 사용법

총관리자 2015.06.14 18:16 조회 수 : 719

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

 

hortonworks에서 제공하는 메모리 설정및 계산기

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html

 

메모리 설정값 계산 파일

wget http://public-repo-1.hortonworks.com/HDP/tools/2.0.6.0/hdp_manual_install_rpm_helper_files-2.0.6.101.tar.gz 

 

실행/결과

[root@master scripts]$ python yarn-utils.py -c 16 -m 16 -d 1 -k True

 Using cores=16 memory=16GB disks=1 hbase=True

 Profile: cores=16 memory=12288MB reserved=4GB usableMem=12GB disks=1

 Num Container=3

 Container Ram=4096MB

 Used Ram=12GB

 Unused Ram=4GB

 

---yarn-site.xml

 yarn.scheduler.minimum-allocation-mb=4096

 yarn.scheduler.maximum-allocation-mb=12288

 yarn.nodemanager.resource.memory-mb=12288

 

mapred-site.xml

 mapreduce.map.memory.mb=4096

 mapreduce.map.java.opts=-Xmx3276m

 mapreduce.reduce.memory.mb=4096

 mapreduce.reduce.java.opts=-Xmx3276m

 

yarn-site.xml

 yarn.app.mapreduce.am.resource.mb=4096

 yarn.app.mapreduce.am.command-opts=-Xmx3276m


mapred-site.xml

 mapreduce.task.io.sort.mb=1638

 

-----------------------------------------------------------------------------------------------

yarn-site.xml에 설정

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <!-- value>8000</value -->

        <value>12288</value>

     </property>

     <property>

         <name>yarn.scheduler.minimum-allocation-mb</name>

         <!-- value>512</value -->

         <value>4096</value>

     </property>

     <property>

         <name>yarn.scheduler.maximum-allocation-mb</name>

         <!-- value>2048</value -->

         <value>12288</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.resouce.mb</name>

         <value>4096</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.command-opts</name>

         <value>-Xmx3276m</value>

     </property>

 
mapred-site.xml에 설정
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>

-------------------- -k 옵션에 False대신 false를 지정하는 경우의 오류내용 ----------------
실행 : python yarn-utils.py -c 4 -m 7 -d 1 -k False
오류 내용
Traceback (most recent call last):
  File "yarn-utils.py", line 146, in <module>
    main()
  File "yarn-utils.py", line 94, in main
    hbaseEnabled = ast.literal_eval(options.hbase)
  File "/usr/lib64/python2.6/ast.py", line 68, in literal_eval
    return _convert(node_or_string)
  File "/usr/lib64/python2.6/ast.py", line 67, in _convert
    raise ValueError('malformed string')
ValueError: malformed string

------------다른 케이스 ----
-bash-4.1$ python yarn-utils.py -c 4 -m 7 -d 1 -k False
 Using cores=4 memory=7GB disks=1 hbase=False
 Profile: cores=4 memory=6144MB reserved=1GB usableMem=6GB disks=1
 Num Container=3
 Container Ram=2048MB
 Used Ram=6GB
 Unused Ram=1GB
 yarn.scheduler.minimum-allocation-mb=2048
 yarn.scheduler.maximum-allocation-mb=6144
 yarn.nodemanager.resource.memory-mb=6144
 mapreduce.map.memory.mb=2048
 mapreduce.map.java.opts=-Xmx1638m
 mapreduce.reduce.memory.mb=4096
 mapreduce.reduce.java.opts=-Xmx3276m
 yarn.app.mapreduce.am.resource.mb=4096
 yarn.app.mapreduce.am.command-opts=-Xmx3276m
 mapreduce.task.io.sort.mb=819

* application을 테스트할때 메모리 관련 오류가 발생시 조치 방법: https://www.gooper.com/ss/bigdata/3396
이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
47 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 77
46 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 117
45 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 51
44 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 24
43 Cleaning up the staging area file시 'cannot access' 혹은 'Directory is not writable' 발생시 조치사항 총관리자 2017.05.02 333
42 Ubuntu 16.04 LTS에 4대에 Hadoop 2.8.0설치 총관리자 2017.05.01 520
41 Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143 TaskAttempt killed because it ran on unusable node 오류시 조치방법 총관리자 2017.04.06 324
40 서버중 slave,worker,regionserver만 재기동해야 할때 필요한 기동스크립트및 사용방법 총관리자 2017.02.03 143
39 HDFS상의 /tmp폴더에 Permission denied오류가 발생시 조치사항 총관리자 2017.01.25 360
38 Mountable HDFS on CentOS 6.x(hadoop 2.7.2의 nfs기능을 이용) 총관리자 2016.11.24 174
37 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 총관리자 2016.09.24 119
36 hadoop 어플리케이션을 사용하는 사용자 변경시 바꿔줘야 하는 부분 총관리자 2016.09.23 68
35 format된 namenode를 다른 서버에서 다시 format했을때 오류내용 총관리자 2016.09.22 155
34 AIX 7.1에 Hadoop설치(정리중#2) 총관리자 2016.09.20 215
33 AIX 7.1에 Hadoop설치(정리중) 총관리자 2016.09.12 236
32 hadoop클러스터를 구성하던 서버중 HA를 담당하는 서버의 hostname등이 변경되어 문제가 발생했을때 조치사항 총관리자 2016.07.29 363
31 Journal Storage Directory /data/hadoop/journal/data/mycluster not formatted 오류시 조치사항 총관리자 2016.07.29 1518
30 Job이 끝난 log을 볼수 있도록 설정하기 총관리자 2016.05.30 405
29 Hadoop 완벽 가이드 정리된 링크 총관리자 2016.04.19 205
28 Incompatible clusterIDs오류 원인및 해결방법 총관리자 2016.04.01 490
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로