메뉴 건너뛰기

검색창 닫기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기

총관리자 2016.05.31 18:02 조회 수 : 10727

1. 소스 다운로드

 가. mkdir /tmp/spark

 나. cd /tmp/spark

 나. git clone git://github.com/apache/spark.git


2. scala 2.11용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    : mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package


3. Hadoop2용으로 만들기

  가. scala 버젼 변경

    : ./dev/change-scala-version.sh 2.11

  나. building

    :  mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package


* 참조 : http://spark.apache.org/docs/latest/building-spark.html#building-for-scala-211

이 게시물을
이 글의 추천인 목록 목록
번호 제목 날짜 조회 수
47 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 14869
46 spark-sql실행시 ERROR log: Got exception: java.lang.NumberFormatException For input string: "2000ms" 오류발생시 조치사항 2016.06.09 14138
45 spark-sql실행시 Caused by: java.lang.NumberFormatException: For input string: "0s" 오류발생시 조치사항 2016.06.09 14258
44 spark-sql실행시 The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH오류 발생시 조치사항 2016.06.09 15296
43 ./spark-sql 실행시 "java.lang.NumberFormatException: For input string: "1s"오류발생시 조치사항 2016.06.09 10061
42 beeline실행시 User: root is not allowed to impersonate오류 발생시 조치사항 2016.06.03 13725
41 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D오류발생시 조치사항 2016.06.03 14793
40 impala 설치/설정 2016.06.03 15045
39 hive 2.0.1 설치및 mariadb로 metastore 설정 2016.06.03 16070
» Scala버젼 변경 혹은 상황에 맞게 Spark소스 컴파일하기 2016.05.31 10727
37 spark client프로그램 기동시 "Error initializing SparkContext"오류 발생할때 조치사항 2016.05.27 14658
36 spark-submit으로 spark application실행하는 다양한 방법 2016.05.25 12317
35 spark 온라인 책자링크 (제목 : mastering-apache-spark) 2016.05.25 13764
34 "Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources"오류 발생시 조치사항 2016.05.25 11490
33 spark-env.sh에서 사용할 수있는 항목. 2016.05.24 10996
32 Spark 1.6.1 설치후 HA구성 2016.05.24 13404
31 spark-shell실행시 "A read-only user or a user in a read-only database is not permitted to disable read-only mode on a connection."오류가 발생하는 경우 해결방법 2016.05.20 9086
30 Spark 2.1.1 clustering(5대) 설치(YARN기반) 2016.04.22 12505
29 Spark Streaming으로 유실 없는 스트림 처리 인프라 구축하기 2016.03.11 9406
28 CDH 5.4.4 버전에서 hive on tez (0.7.0)설치하기 2016.01.14 9939
쓰기 태그
위로