메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


Hadoop hortonworks에서 제공하는 메모리 설정값 계산기 사용법

총관리자 2015.06.14 18:16 조회 수 : 719

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

 

hortonworks에서 제공하는 메모리 설정및 계산기

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html

 

메모리 설정값 계산 파일

wget http://public-repo-1.hortonworks.com/HDP/tools/2.0.6.0/hdp_manual_install_rpm_helper_files-2.0.6.101.tar.gz 

 

실행/결과

[root@master scripts]$ python yarn-utils.py -c 16 -m 16 -d 1 -k True

 Using cores=16 memory=16GB disks=1 hbase=True

 Profile: cores=16 memory=12288MB reserved=4GB usableMem=12GB disks=1

 Num Container=3

 Container Ram=4096MB

 Used Ram=12GB

 Unused Ram=4GB

 

---yarn-site.xml

 yarn.scheduler.minimum-allocation-mb=4096

 yarn.scheduler.maximum-allocation-mb=12288

 yarn.nodemanager.resource.memory-mb=12288

 

mapred-site.xml

 mapreduce.map.memory.mb=4096

 mapreduce.map.java.opts=-Xmx3276m

 mapreduce.reduce.memory.mb=4096

 mapreduce.reduce.java.opts=-Xmx3276m

 

yarn-site.xml

 yarn.app.mapreduce.am.resource.mb=4096

 yarn.app.mapreduce.am.command-opts=-Xmx3276m


mapred-site.xml

 mapreduce.task.io.sort.mb=1638

 

-----------------------------------------------------------------------------------------------

yarn-site.xml에 설정

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <!-- value>8000</value -->

        <value>12288</value>

     </property>

     <property>

         <name>yarn.scheduler.minimum-allocation-mb</name>

         <!-- value>512</value -->

         <value>4096</value>

     </property>

     <property>

         <name>yarn.scheduler.maximum-allocation-mb</name>

         <!-- value>2048</value -->

         <value>12288</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.resouce.mb</name>

         <value>4096</value>

     </property>

     <property>

         <name>yarn.app.mapreduce.am.command-opts</name>

         <value>-Xmx3276m</value>

     </property>

 
mapred-site.xml에 설정
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx3276m</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>
  <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>1638</value>
  </property>

-------------------- -k 옵션에 False대신 false를 지정하는 경우의 오류내용 ----------------
실행 : python yarn-utils.py -c 4 -m 7 -d 1 -k False
오류 내용
Traceback (most recent call last):
  File "yarn-utils.py", line 146, in <module>
    main()
  File "yarn-utils.py", line 94, in main
    hbaseEnabled = ast.literal_eval(options.hbase)
  File "/usr/lib64/python2.6/ast.py", line 68, in literal_eval
    return _convert(node_or_string)
  File "/usr/lib64/python2.6/ast.py", line 67, in _convert
    raise ValueError('malformed string')
ValueError: malformed string

------------다른 케이스 ----
-bash-4.1$ python yarn-utils.py -c 4 -m 7 -d 1 -k False
 Using cores=4 memory=7GB disks=1 hbase=False
 Profile: cores=4 memory=6144MB reserved=1GB usableMem=6GB disks=1
 Num Container=3
 Container Ram=2048MB
 Used Ram=6GB
 Unused Ram=1GB
 yarn.scheduler.minimum-allocation-mb=2048
 yarn.scheduler.maximum-allocation-mb=6144
 yarn.nodemanager.resource.memory-mb=6144
 mapreduce.map.memory.mb=2048
 mapreduce.map.java.opts=-Xmx1638m
 mapreduce.reduce.memory.mb=4096
 mapreduce.reduce.java.opts=-Xmx3276m
 yarn.app.mapreduce.am.resource.mb=4096
 yarn.app.mapreduce.am.command-opts=-Xmx3276m
 mapreduce.task.io.sort.mb=819

* application을 테스트할때 메모리 관련 오류가 발생시 조치 방법: https://www.gooper.com/ss/bigdata/3396
이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
141 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1030
140 impala 설치/설정 총관리자 2016.06.03 1031
139 HBase 0.98.12(1.2.5) for hadoop2 설치-5대에 완전분산모드 (HDFS HA상테) 총관리자 2015.04.29 1047
138 Hive Query Examples from test code (1 of 2) 총관리자 2014.03.26 1050
137 external partition table생성및 data확인 총관리자 2014.04.03 1072
136 Ubuntu 16.04 LTS에 MariaDB 10.1설치 및 포트변경 및 원격접속 허용 총관리자 2017.05.01 1081
135 Building a Cluster docs 총관리자 2014.04.22 1083
134 mysql에서 외부 디비를 커넥션할 경우 접속 속도가 느려질때 총관리자 2017.06.30 1083
133 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 총관리자 2018.09.14 1087
132 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 총관리자 2014.05.28 1088
131 spark stream처리할때 두개의 client프로그램이 동일한 checkpoint로 접근할때 발생하는 오류 내용 총관리자 2018.01.16 1115
130 Ubuntu 16.04 LTS에서 sendmail설치및 설정(수신,발신 가능)및 메일서버 만들기 총관리자 2017.05.23 1119
129 로그 파일에 대해 Elasticsearch 사용하기 총관리자 2014.09.25 1121
128 sequence한 번호 생성방법 총관리자 2014.04.25 1123
127 CentOS의 서버 5대에 yarn(hadoop 2.7.2)설치하기-ResourceManager HA/HDFS HA포함, JobHistory포함 총관리자 2016.03.29 1138
126 json serde사용법 총관리자 2014.04.17 1140
125 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 총관리자 2014.09.25 1141
124 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 총관리자 2016.06.03 1141
123 build.gradle을 pom.xml로 변환하는 방법 총관리자 2016.08.18 1160
122 Mybatis foreach 문법정리(상황에 따른 사용법) 총관리자 2015.11.10 1170
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로