Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
su로 사용자를 전환하거나 putty등으로 로그인할때 "Resource temporarily unavailable(자원이 일시적으로 사용 불가능함)"이라는 메세지가 나타날 수 있는데 ulimit -a 로 해서 보면 로그인한 사용자의 리소스 정보를 확인 할 수 있다.
이중에서 max user processes가 보통 1024로 지정되어 있는데 이를 초과해서 발생하는 문제이므로 이값을 늘려주어야 한다.
방법은 /etc/security/limits.conf를 열어 아래내용을 추가한다.(hadoop사용자의 max user processes값을 100000로 설정하는 경우)
hadoop - nproc 100000
*참고(프로세스 확인방법) - 아래 명령으로 hadoop사용자의 현재 프로세스를 확인할 수 있다
ps -ef -L -u hadoop | wc -l
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
21 | Hadoop Cluster 설치 (Hadoop+Zookeeper+Hbase) | 구퍼 | 2013.03.07 | 3995 |
20 | .git폴더를 삭제하고 다시 git에 추가하고 서버에 반영하는 방법 | 총관리자 | 2017.06.19 | 4078 |
19 | 다수의 로그 에이전트로 부터 로그를 받아 각각의 파일로 저장하는 방법(interceptor및 multiplexing) | 총관리자 | 2014.04.04 | 4089 |
18 | sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음 | 총관리자 | 2014.09.02 | 4093 |
17 | checking for termcap functions library... configure: error: No curses/termcap library found | 구퍼 | 2013.03.08 | 4120 |
16 | import 혹은 export할때 hive파일의 default 구분자는 --input-fields-terminated-by " |