메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


su로 사용자를 전환하거나 putty등으로 로그인할때 "Resource temporarily unavailable(자원이 일시적으로 사용 불가능함)"이라는 메세지가 나타날 수 있는데 ulimit -a 로 해서 보면 로그인한 사용자의 리소스 정보를 확인 할 수 있다.

이중에서 max user processes가 보통 1024로 지정되어 있는데 이를 초과해서 발생하는 문제이므로 이값을 늘려주어야 한다.

방법은 /etc/security/limits.conf를 열어 아래내용을 추가한다.(hadoop사용자의 max user processes값을 100000로 설정하는 경우)
hadoop - nproc 100000

*참고(프로세스 확인방법) - 아래 명령으로 hadoop사용자의 현재 프로세스를 확인할 수 있다

ps -ef -L -u hadoop | wc -l

번호 제목 날짜 조회 수
760 [sbt] sbt 0.13.11 를 windows에 설치하고 scala프로그램을 compile해서 jar파일 만들기 2016.07.11 110795
759 hue.axes_accessattempt테이블의 username컬럼에 NULL 혹은 space가 들어갈수도 있음. 2021.11.03 109614
758 Hive+mysql 설치 및 환경구축하기 file 2013.03.07 99512
757 hadoop 2.6.0에 sqoop2 (1.99.5) server및 client설치 == fail 2015.06.11 94647
756 hive job실행시 meta정보를 원격의 mysql에 저장하는 경우 설정방법 2014.05.28 80253
755 avro 사용하기(avsc 스키마 파일 컴파일 방법, consumer, producer샘플소스) 2016.07.08 58518
754 hbase CustomFilter만들기 (0.98.X이상) 2015.05.08 51504
753 [Hue-Oozie]Hue에서 Oozie Coordinator를 export후 import시 "Problen installing fixture" 오류 발생시 조치 2025.10.19 51288
752 java.lang.ClassNotFoundException: org.apache.hadoop.util.ShutdownHookManager 오류조치사항 2015.05.20 51215
751 spark 2.0.0를 windows에서 실행시 로컬 파일을 읽을때 발생하는 오류 해결 방법 2017.01.12 50340
750 hadoop에서 yarn jar ..를 이용하여 appliction을 실행하여 정상적(?)으로 수행되었으나 yarn UI의 어플리케이션 목록에 나타나지 않는 문제 2017.05.02 50159
749 우분투 16.04LTS에 Jupyter설치 2018.04.17 50083
748 Hive java connection 설정 file 2013.04.01 50062
747 banana pi에 hive 0.13.1+mysql(metastore)설치 file 2014.09.09 49738
746 kerberos연동된 CDH 6.3.4에서 default realm값이 잘못된 상태에서 서비스 기동시 오류 2022.10.14 49668
745 AnalysisException: Incomplatible return type 'DECIMAL(38,0)' and 'DECIMAL(38,5)' of exprs가 발생시 조치 2021.07.26 48932
744 Tracking URL = N/A 가발생하는 경우 - 환경설정값을 잘못설정하는 경우에 발생함 2015.06.17 48870
743 kerberos설정된 상태의 spooldir->memory->hdfs로 저장하는 과정의 flume agent configuration구성 예시 2019.05.30 48687
742 Authorization within Hadoop Projects 2022.06.13 48134
741 AIX 7.1에 Hadoop설치(정리중#2) 2016.09.20 47931
위로