메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기

총관리자 2017.07.26 14:18 조회 수 : 1618

1. 다운로드

http://spark.apache.org/downloads.html


2. 압축파일 풀기

다운로드한 파일(spark-2.2.0-bin-hadoop2.7.tgz)을 적절한 위치에 복사(예, C:devhadoop)하고 압축을 푼다.


3.환경변수 설정

SPARK_HOME=C:devhadoopspark-2.2.0-bin-hadoop2.7

PATH=%PATH%;C:devhadoopspark-2.2.0-bin-hadoop2.7bin


4. 확인/test

가. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>spark-shell

나. c:devhadoopspark-2.2.0-bin-hadoop2.7bin>pyspark

다. spark-submit을 실행해본다.


이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
446 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용한 CRUD테스트(트랜잭션처리) 2017.08.30 1569
445 RDF4J의 rdf4j-server.war가 제공하는 RESTFul API를 이용하여 repository에 CRUD테스트 2017.08.30 1440
444 DeviceType이 o:motion-sensor_33 이거나 o:motion-sensor_32 경우의 sparql문장은 다음과 같다. 2017.08.16 1563
443 [oneM2M]Ontologies used for oneM2M 2017.08.02 1451
» Windows7 64bit 환경에서 Apache Spark 2.2.0 설치하기 2017.07.26 1618
441 Windows7 64bit 환경에서 Apache Hadoop 2.7.1설치하기 2017.07.26 1511
440 jena/fuseki 3.4.0 설치 2017.07.25 1402
439 LUBM 데이타 생성구문 2017.07.24 899
438 Core with name 'xx_shard4_replica1' already exists. 발생시 조치사항 2017.07.22 682
437 9대가 hbase cluster로 구성된 서버에서 테스트 data를 halyard에 적재하고 테스트 하는 방법및 절차 2017.07.21 1851
436 갑자기 DataNode가 java.io.IOException: Premature EOF from inputStream를 반복적으로 발생시키다가 java.lang.OutOfMemoryError: Java heap space를 내면서 죽는 경우 조치방법 2017.07.19 2503
435 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 1858
434 HBase 설정 최적화하기(VCNC) file 2017.07.18 1294
433 HBase write 성능 튜닝 file 2017.07.18 857
432 schema.xml vs managed-schema 지정 사용하기 - 두개를 동시에 사용할 수는 없음 2017.07.09 1264
431 halyard의 console스크립트에서 생성한 repository는 RDF4J Web Applications에서 공유가 되지 않는다. 2017.07.05 1508
430 halyard 1.3의 rdf4j-server.war와 rdf4j-workbench.war를 tomcat deploy후 조회시 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/Cell발생시 조치사항 2017.07.05 751
429 halyard 1.3을 다른 서버로 이전하는 방법 2017.07.05 1432
428 python test.py실행시 "ImportError: No module named pyspark" 혹은 "ImportError: No module named py4j.protocol"등의 오류 발생시 조치사항 2017.07.04 2214
427 solr명령 실행시 "Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect" 오류발생 2017.06.30 1325
쓰기 태그
위로