메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


Hadoop physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치

총관리자 2018.09.20 10:34 조회 수 : 23194

mapreduce.map.memory.mb는 hadoop에서 mapper에 할당할 수 있는 최대 메모리 제한 값이며 default는 512임, 이 제한값이 초과되면 아래의 오류가 발생되면 hadoop은 mapper를 kill시킨다.

------------------------오류내용----------------

Container[pid=container_1406552545451_0009_01_000002,containerID=container_234132_0001_01_000001] is running beyond physical memory limits. Current usage: 569.1 MB of 512 MB physical memory used; 970.1 MB of 1.0 GB virtual memory used. Killing container.

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
» physical memory used되면서 mapper가 kill되는 경우 오류 발생시 조치 2018.09.20 23194
292 impala,hive및 hdfs만 접근가능하고 파일을 이용한 테이블생성가능하도록 hue 권한설정설정 2018.09.17 15721
291 cloudera(python 2.7.5)에서 anaconda3로 설치한 외부 python(3.6.6)을 이용하여 pyspark를 사용하는 설정 2018.09.14 32220
290 oracle to hive data type정리표 2018.08.22 27689
289 postgresql-9.4에서 FATAL: remaining connection slots are reserved for non-replication superuser connections가 나올때 조치 2018.08.16 18564
288 sentry설정 방법및 활성화시 설정이 필요한 파일및 설정값, 계정생성 방법 2018.08.16 19407
287 컬럼및 라인의 구분자를 지정하여 sqoop으로 데이타를 가져오고 hive테이블을 생성하는 명령문 2018.08.03 28958
286 sqoop으로 mariadb에 접근해서 hive 테이블로 자동으로 생성하기 2018.08.03 18388
285 Last transaction was partial에 따른 Unable to load database on disk오류 발생시 조치사항 2018.08.03 23933
284 RHEL 7.4에 zeppelin 0.7.4 설치 2018.07.31 18208
283 conda를 이용한 jupyterhub(v0.9)및 jupyter설치 (v4.4.0) 2018.07.30 17917
282 HiveServer2인증을 PAM을 이용하도록 설정하는 방법 2018.07.21 20637
281 [postgresql 9.x] PostgreSQL Replication 구축하기 2018.07.17 25391
280 spark 2.3.0을 설치하가 위해서 parcel에 다음 url을 입력한다. 2018.07.15 16766
279 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 26905
278 upsert구현방법(년-월-일 파티션을 기준으로) 및 테스트 script file 2018.07.03 25298
277 resouce manager에 dr.who가 아닌 다른 사용자로 로그인 하기 2018.06.28 23462
276 CDH에서 Sentry 개념및 설정 file 2018.06.21 17304
275 cloudera에서 spark-shell를 실행했을때 default master는 spark.master=yarn-client임 2018.06.20 17977
274 dr.who로 공격들어오는 경우 조치방법 file 2018.06.09 24659
쓰기 태그
위로