메뉴 건너뛰기

검색창 닫기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


spark Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기

총관리자 2016.05.31 18:02 조회 수 : 67

1. 소스 다운로드

 가. mkdir /tmp/spark

 나. cd /tmp/spark

 나. git clone git://github.com/apache/spark.git


2. scala 2.11용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    : mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package


3. Hadoop2용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    :  mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package


* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211

이 게시물을
목록
번호 제목 글쓴이 날짜 조회 수
41 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 총관리자 2016.03.11 137
40 Spark 2.1.1 clustering(5대) 설치(YARN기반) 총관리자 2016.04.22 1882
39 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 총관리자 2016.05.20 551
38 Spark 1.6.1 설치후 HA구성 총관리자 2016.05.24 455
37 spark-env.sh에서 사용할 수있는 항목. 총관리자 2016.05.24 567
36 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 총관리자 2016.05.25 1026
35 spark 온라인 책자링크 (제목 : mastering-apache-spark) 총관리자 2016.05.25 48
34 spark-submit으로 spark application실행하는 다양한 방법 총관리자 2016.05.25 303
33 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 총관리자 2016.05.27 539
» Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 총관리자 2016.05.31 67
31 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 총관리자 2016.06.09 132
30 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 총관리자 2016.06.09 441
29 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 총관리자 2016.06.09 2802
28 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 총관리자 2016.06.09 167
27 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 총관리자 2016.07.13 629
26 Apache Spark와 Drools를 이용한 CEP구현 테스트 총관리자 2016.07.15 342
25 start-all.sh로 spark데몬 기동시 "JAVA_HOME is not set"오류 발생시 조치사항 총관리자 2016.08.01 126
24 파일끝에 붙는 ^M 일괄 지우기(linux, unix(AIX)) 혹은 파일내에 있는 ^M지우기 총관리자 2016.09.24 78
23 java.lang.OutOfMemoryError: unable to create new native thread오류 발생지 조치사항 총관리자 2016.10.17 466
22 VisualVM 1.3.9을 이용한 spark-submit JVM 모니터링을 위한 설정및 spark-submit실행 옵션 총관리자 2016.10.28 1891
쓰기 태그

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로