메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop hortonworks에서 제공하는 메모리 설정값 계산기 사용법

총관리자 2015.06.14 18:16 조회 수 : 719

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

 

hortonworks에서 제공하는 메모리 설정및 계산기

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html

 

메모리 설정값 계산 파일

wget http://public-repo-1.hortonworks.com/HDP/tools/2.0.6.0/hdp_manual_install_rpm_helper_files-2.0.6.101.tar.gz 

 

실행/결과

[root@master scripts]$ python yarn-utils.py -c 16 -m 16 -d 1 -k True

 Using cores=16 memory=16GB disks=1 hbase=True

 Profile: cores=16 memory=12288MB reserved=4GB usableMem=12GB disks=1

 Num Container=3

 Container Ram=4096MB

 Used Ram=12GB

 Unused Ram=4GB

 

---yarn-site.xml

 yarn.scheduler.minimum-allocation-mb=4096

 yarn.scheduler.maximum-allocation-mb=12288

 yarn.nodemanager.resource.memory-mb=12288

 

mapred-site.xml

 mapreduce.map.memory.mb=4096

 mapreduce.map.java.opts=-Xmx3276m

 mapreduce.reduce.memory.mb=4096

 mapreduce.reduce.java.opts=-Xmx3276m

 

yarn-site.xml

 yarn.app.mapreduce.am.resource.mb=4096

 yarn.app.mapreduce.am.command-opts=-Xmx3276m


mapred-site.xml

 mapreduce.task.io.sort.mb=1638

 

-----------------------------------------------------------------------------------------------

yarn-site.xml에 설정

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <!-- value>8000</value -->

        <value>12288</value>

     </property>

     <property>

         <name>yarn.scheduler.minimum-allocation-mb</name>

         <!-- value>512</value -->

         <value>4096</value>

     </property>

     <property>

         <name>yarn.scheduler.maximum-allocation-mb</name>

         <!-- value>2048</value -->

         <value>12288</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.resouce.mb</name>

         <value>4096</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.command-opts</name>

         <value>-Xmx3276m</value>

     </property>

 
mapred-site.xml에 설정
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>

-------------------- -k 옵션에 False대신 false를 지정하는 경우의 오류내용 ----------------
실행 : python yarn-utils.py -c 4 -m 7 -d 1 -k False
오류 내용
Traceback (most recent call last):
  File "yarn-utils.py", line 146, in <module>
    main()
  File "yarn-utils.py", line 94, in main
    hbaseEnabled = ast.literal_eval(options.hbase)
  File "/usr/lib64/python2.6/ast.py", line 68, in literal_eval
    return _convert(node_or_string)
  File "/usr/lib64/python2.6/ast.py", line 67, in _convert
    raise ValueError('malformed string')
ValueError: malformed string

------------다른 케이스 ----
-bash-4.1$ python yarn-utils.py -c 4 -m 7 -d 1 -k False
 Using cores=4 memory=7GB disks=1 hbase=False
 Profile: cores=4 memory=6144MB reserved=1GB usableMem=6GB disks=1
 Num Container=3
 Container Ram=2048MB
 Used Ram=6GB
 Unused Ram=1GB
 yarn.scheduler.minimum-allocation-mb=2048
 yarn.scheduler.maximum-allocation-mb=6144
 yarn.nodemanager.resource.memory-mb=6144
 mapreduce.map.memory.mb=2048
 mapreduce.map.java.opts=-Xmx1638m
 mapreduce.reduce.memory.mb=4096
 mapreduce.reduce.java.opts=-Xmx3276m
 yarn.app.mapreduce.am.resource.mb=4096
 yarn.app.mapreduce.am.command-opts=-Xmx3276m
 mapreduce.task.io.sort.mb=819

* application을 테스트할때 메모리 관련 오류가 발생시 조치 방법: https://www.gooper.com/ss/bigdata/3396
이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
260 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 총관리자 2016.08.11 124
259 [TLS]pkcs12형식의 인증서 생성및 jks형식 인증서 생성 커맨드 예시 총관리자 2022.03.15 123
258 [CDP7.1.7]BDR작업후 오류로 Diagnostic Data를 수집하는 동안 "No content to map due to end-of-input at [Source: (String)""; line: 1, column: 0]" 오류 발생시 조치 gooper 2024.02.20 121
257 [Kudu]Schema별 혹은 테이블별 사용량(Replica포함) 구하는 방법 gooper 2022.07.14 121
256 producer / consumer구현시 설정 옵션 설명 총관리자 2016.10.19 121
255 HBase 설정 최적화하기(VCNC) file 총관리자 2017.07.18 120
254 VPS에서는 root로 실행해도 swap파일을 만들지 못하게 만들어 두었지만 swap파일을 생성하는 방법 총관리자 2017.06.20 120
253 console명령과 API비교 총관리자 2015.12.21 120
252 ./hadoop-daemon.sh start namenode로 namenode기동시 EditLog의 custerId, namespaceId가 달라서 발생하는 오류 해결방법 총관리자 2016.09.24 119
251 select와 group by결과 값이 없는경우의 리턴 값이 다름 file 총관리자 2016.02.05 119
250 tablet별 disk사용량 확인하는 방법 총관리자 2021.08.27 118
249 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 총관리자 2017.05.02 117
248 하둡 클러스터 전체 노드를 다시 기동하면 invalidate metadata를 수행해야 데이터가 틀어지지 않는다. 총관리자 2019.05.20 114
247 Collections.sort를 이용한 List<User>형태의 데이타 정렬(숫자, 문자에 대해서 각각 asc/desc및 복합정렬) 총관리자 2016.12.15 114
246 Impala daemon기동시 "Could not create temporary timezone file"오류 발생시 조치사항 총관리자 2018.03.29 113
245 test333444 총관리자 2017.05.01 113
244 solrcloud에 solrdf1.1설치하고 테스트 하기 총관리자 2016.04.22 113
243 lagom에서 제공하는 초기 생성기능을 이용하여 생성한 프로젝트의 소스 파악 총관리자 2018.01.16 111
242 java스레드 덤프 분석하기 file 총관리자 2016.11.03 111
241 Toree 0.1.0-incubating이 Scala 2.10.4까지만 지원하게 되어서 발생하는 NoSuchMethod오류 문제 해결방법(scala 2.11.x을 지원하지만 오류가 발생할 수 있음) 총관리자 2018.04.20 110
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로