Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다.
문의사항은 gooper@gooper.com로 메일을
보내주세요.
출처 : http://www.spikyjohn.com/cribsheets/20130609_hadoopinstall.html
Just the command lines to get hadoop 2 installed on Ubuntu. These are all cribbed from the following source notes, and I am preserving them here for my own benefit so I can quickly repeat what I did. Note many of these instructions are also in the main hadoop docs from apache.
Source material |
Use Michael-noll's guide for version 1 & ssh Or this one for Hadoop 2 |
Create the hadoop user and ssh |
sudo apt-get install openssh-server openssh-client sudo addgroup hadoop If you cannot ssh to localhost without a passphrase, execute the following
commands: Testing your SSH |
Get hadoop all set up |
As the hduser, after downloading the tar tar -xvf hadoop-2.0.5-alpha.tar.gz export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
|
Stolen entirely from JJ, but with path changed for my Ubuntu |
Stolen from http://jugnu-life.blogspot.com/2012/05/hadoop-20-install-tutorial-023x.html Please click on his blog. Login again so bash has paths above. In Hadoop 2.x version /etc/hadoop is the default conf directory. We need to modify / create following property files in the /etc/hadoop directory cd ~ Edit core-site.xml with following contents <configuration> Edit hdfs-site.xml with following contents <configuration> <property> <property> <property> </configuration> The path Path should be specified as URI <configuration> <property> <property> </configuration> The path file:/home/hduser/workspace/hadoop_space/hadoop23/mapred/system
AND Path should be specified as URI Edit yarn-site.xml with following contents <configuration> Format the namenode # hdfs namenode –format Say Yes and let it complete the format Time to start the daemons # hadoop-daemon.sh start namenode You can also start both of them together by # start-dfs.sh Start Yarn Daemons # yarn-daemon.sh start resourcemanager You can also start all yarn daemons together by # start-yarn.sh Time to check if Daemons have started Enter the command # jps Time to launch UI Open the localhost:8088 to see the Resource Manager page Done :) Happy Hadooping :) |
댓글 0
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
18 | 천문학적, 기후학적, 기상학적, 생물학적, 농사계절 구분 | 총관리자 | 2015.12.16 | 150 |
17 | 이미지 관리 오픈소스 목록 | 총관리자 | 2018.03.11 | 149 |
16 | magento2 2.1.3을 수동으로 설치하는 방법 | 총관리자 | 2017.02.01 | 148 |
15 | 바나나 파이의 /tmp폴더를 외장하드로 변경하기 | 총관리자 | 2015.07.24 | 136 |
14 | https용 인증서 발급 명령문 예시및 오류 메세지 | 총관리자 | 2018.01.24 | 109 |
13 | 컴퓨터 무한 재부팅 원인및 조치방법 | 총관리자 | 2017.12.05 | 106 |
12 | php auction 프로그램 | 총관리자 | 2017.05.14 | 94 |
11 | 에러 추적(Error Tracking) 및 로그 취합(logging aggregation) 시스템인 Sentry 설치 | 총관리자 | 2018.03.14 | 88 |
10 | LAGOM 1.4 AND KUBERNETES ORCHESTRATION | 총관리자 | 2019.07.19 | 78 |
9 | "암은 평범한 병, 심호흡만 잘해도 암세포 분열 저지” | 총관리자 | 2016.06.02 | 48 |
8 | webid에서 google처럼 검색할 수 있도록 하는 프로그램 | 총관리자 | 2017.05.16 | 46 |
7 | magento2 log파일 위치 | 총관리자 | 2017.01.31 | 45 |
6 | magento2 설치후 초기화면이 깨지는 문제 | 총관리자 | 2017.01.31 | 42 |
5 | windows 혹은 mac에서 docker설치하기 위한 파일 | 총관리자 | 2017.10.13 | 42 |
4 | [u-Auctions]목록이 1개만 나오는 문제 | 총관리자 | 2017.05.29 | 38 |
3 | eclipse 3.1 단축키 정리파일 | 총관리자 | 2017.01.02 | 38 |
2 | [vi] test.nq파일에서 특정문자열(예, <>)을 찾아서 포함되는 라인을 삭제한 동일한 이름의 파일을 만드는 방법 | 총관리자 | 2017.01.25 | 36 |
1 | magento2 샘플데이타 설치 | 총관리자 | 2017.01.31 | 24 |