메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. YARN application로그는 container가 수행된 노드의 로컬 파일 경로(yarn.nodemanager.log-dirs, /var/log/hadoop-yarn/containers) 저장된다. 

2. CM->YARN->Applications->application list의 우측에 Application Details를 클릭시 "Failed to read the application application_123456789012_123456" 발생시 아래와 같은 방법으로 log파일을 직접 조회해서 볼 수 있다. 

(yarn.resourcemanager.max-completed-applications(default 10k)와 yarn.resourcemanager.state-store.max-completed-applications값을 동시에 설정하여 조절 가능하나 너무 큰 값을 설정하면 RM recovery performance 부하가 발생함, 권장값은 30k이내임)

3. 또한 yarn.log-aggregation-enable(Enalbe Log Aggregation)이 enable상태라면 로컬 파일들(stderr, stdout등)을 1개의 파일로 묶어서 HDFS(yarn.nodemanager.remote-app-log-dir/계정명/yarn.nodemanager.remote-app-log-dir-suffix,  /tmp/logs/계정/logs)에 저장(yarn.log-aggregation_retain-seconds, default : 7 days(s))하고 로컬 파일을 지우므로 HDFS의 /tmp/logs/계정/logs/application_id에 가서 직접 application수행 로그 파일을 조회할 수 도 있다.


번호 제목 글쓴이 날짜 조회 수
661 uEnv.txt위치및 내용 총관리자 2014.07.09 643
660 oozie 에서 sqoop action실행 에러 - 컬럼개수 차이 총관리자 2014.07.17 1002
659 lubuntu 호스트 네임변경 총관리자 2014.08.03 601
658 데이타 제공 사이트 링크 총관리자 2014.08.03 508
657 외부 기기(usb, 하드)등 mount(연결)하기 총관리자 2014.08.03 546
656 원보드 컴퓨터 비교표 file 총관리자 2014.08.04 408
655 FAILED: IllegalStateException Variable substitution depth too large: 40 오류발생시 조치사항 총관리자 2014.08.19 1521
654 시스템날짜를 현재 정보로 동기화 하는 방법(rdate, ntpdate이용) 총관리자 2014.08.24 481
653 hadoop의 data디렉토리를 변경하는 방법 총관리자 2014.08.24 536
652 java.util.NoSuchElementException발생시 조치 총관리자 2014.08.27 476
651 sqoop작업시 hdfs의 개수보다 더많은 값이 중복되어 oracle에 입력되는 경우가 있음 총관리자 2014.09.02 4093
650 원격지에서 zio공유기를 통해서 노트북의 mysql접속을 허용하는 방법 총관리자 2014.09.07 495
649 banana pi에 hive 0.13.1+mysql(metastore)설치 file 총관리자 2014.09.09 2406
648 apt-get install mysql-server수행시 "404 Not Found" 오류발생시 조치방법 총관리자 2014.09.10 1450
647 mysql 5.5.34-0ubuntu0.13.04용 설치/진행 화면 총관리자 2014.09.10 697
646 root가 localhost에서 mysql로 접근하지 못하는 경우의 해결방법(패스워드) 총관리자 2014.09.10 595
645 lateral view 예제 총관리자 2014.09.18 691
644 하둡 분산 파일 시스템을 기반으로 색인하고 검색하기 총관리자 2014.09.25 951
643 hadoop 기반 문서 검색 총관리자 2014.09.25 957
642 호튼웍스 하둡을 검색엔진과 연동하는 방법과 아키텍쳐 총관리자 2014.09.25 1141

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로