메뉴 건너뛰기

Bigdata, Semantic IoT, Hadoop, NoSQL

Bigdata, Hadoop ecosystem, Semantic IoT등의 프로젝트를 진행중에 습득한 내용을 정리하는 곳입니다.
필요한 분을 위해서 공개하고 있습니다. 문의사항은 gooper@gooper.com로 메일을 보내주세요.


1. 프로젝트 폴더로 이동하여 console창에서 "sbt assembly"하면 jar파일이 만들어진다.

2. "sbt eclipse"하고 eclipse에서 "Refresh"하면 관련 jar를 인식하여 오류,경고 표시가 없어진다.

3. "sbt clean update compile"하면 모두 지우고 jar를 다시 받아 정리하고 컴파일을 한다.


---------------build.sbt-------------

import sbtassembly.AssemblyPlugin._


name := "sda-client"


version := "2.0"


javacOptions ++= Seq("-encoding", "UTF-8")


scalaVersion := "2.11.8"

//scalaVersion := "2.10.5"


resolvers += "Akka Repository" at "http://repo.akka.io/releases/"


// sda-common.jar

// unmanagedJars in Compile += file("C:\dev\workspace\sda-common\build\libs\sda-common-2.0.jar")


unmanagedJars in Compile += file("C:\dev\workspace\sda-common\target\sda-common-2.0.jar")


libraryDependencies ++= Seq(

   // spark

("org.apache.spark" %% "spark-core" % "2.0.0" % "provided").

    exclude("org.mortbay.jetty", "servlet-api").

    exclude("commons-beanutils", "commons-beanutils-core").

    exclude("commons-collections", "commons-collections").

    exclude("commons-logging", "commons-logging").

    exclude("com.esotericsoftware.minlog", "minlog").

    exclude("com.codahale.metrics", "metrics-core"),

("org.apache.spark" %% "spark-sql" % "2.0.0" % "provided"),

("org.apache.spark" %% "spark-streaming" % "2.0.0" % "provided"),

("org.apache.spark" %% "spark-streaming-kafka" % "1.6.2" % "provided"),

    

    // hadoop

    ("org.apache.hadoop" % "hadoop-common" % "2.7.2" % "provided"),    

    ("org.apache.hadoop" % "hadoop-mapreduce-client-common" % "2.7.2" % "provided")

    

 )

 

 // Excluding Scala library JARS(optional)

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

 


assemblyExcludedJars in assembly := { 

  val cp = (fullClasspath in assembly).value

  cp filter {_.data.getName == "slf4j-api-1.7.20.jar"}

}


assemblyMergeStrategy in assembly := {

    case PathList("javax", "servlet", xs @ _*) => MergeStrategy.last

    case PathList("javax", "activation", xs @ _*) => MergeStrategy.last

    case PathList("org", "apache", xs @ _*) => MergeStrategy.last

    case PathList("com", "google", xs @ _*) => MergeStrategy.last

    case PathList("com", "esotericsoftware", xs @ _*) => MergeStrategy.last

    case PathList("com", "codahale", xs @ _*) => MergeStrategy.last

    case PathList("com", "yammer", xs @ _*) => MergeStrategy.last

    case "about.html" => MergeStrategy.rename

    case "META-INF/ECLIPSEF.RSA" => MergeStrategy.last

    case "META-INF/mailcap" => MergeStrategy.last

    case "META-INF/mimetypes.default" => MergeStrategy.last

    case "plugin.properties" => MergeStrategy.last

    case "log4j.properties" => MergeStrategy.last

    case x =>

        val oldStrategy = (assemblyMergeStrategy in assembly).value

        oldStrategy(x)

}

번호 제목 글쓴이 날짜 조회 수
35 [bitbucket] 2022년 3월 2일 부터 git 작업시 기존에 사용하던 비빌번호를 사용할 수 없도록 변경되었다. 총관리자 2022.04.30 10
34 Github를 이용하는 전체 흐름 이해하기 총관리자 2016.11.18 36
33 github에 있는 프로젝트와 로컬에서 작업한 프로젝트 합치기 총관리자 2016.11.22 40
32 특정 단계의 commit상태로 만들기(이렇게 하면 중간에 반영된 모든 commit를 history가 삭제된다) 총관리자 2016.11.17 42
31 원격의 origin/master를 기준으로 dev branch를 만들어 작업후 원격의 origin/dev에 push하는 방법 file 총관리자 2016.11.22 44
30 로컬의 라이브러리파일들을 dependency에 포함시키는 방법 총관리자 2016.08.09 49
29 jar파일의 dependency찾는 프로그램 총관리자 2016.08.11 52
28 [sbt] sbt 0.13.11 를 windows에 설치하고 scala프로그램을 compile해서 jar파일 만들기 총관리자 2016.07.11 73
27 [SBT] project.sbt에 libraryDependencies에 필요한 jar를 지정했으나 sbt compile할때 클래스를 못찾는 오류가 발생했을때 조치사항 총관리자 2016.08.03 74
26 gradle을 이용하여 jar파일 생성시 provided속성을 지정할 수 있게 설정하는 방법 총관리자 2016.08.09 74
25 특정 커밋 시점(commit id를 기준으로)으로 돌리기(reset) 총관리자 2016.11.21 75
24 로컬에 있는 jar파일을 지정하고 dependency로 가져오기 총관리자 2016.08.19 79
23 다중 모듈 프로젝트 설정에 대한 설명 총관리자 2016.09.21 80
22 외부 jar파일을 만들려고하는jar파일의 package로 포함하는 방법 총관리자 2016.08.10 81
21 원격에 있는 git를 받은후 기존repository삭제후 새로운 리포지토리에 연결하여 소스 등록 총관리자 2019.07.13 96
20 .gitignore파일에 지정되지 않은 파일이 ignore되는 경우 확인방법 총관리자 2016.11.22 106
19 여러가지 방법으로 특정 jar파일을 exclude하지 못하는 경우 해당 jar파일을 제외시키는 방법 총관리자 2016.08.11 119
» spark submit용 jar파일을 만드는 sbt 용 build.sbt설정 파일(참고용) 총관리자 2016.08.19 158
17 build할때 unmappable character for encoding MS949 에러 발생시 조치사항 총관리자 2016.08.03 178
16 git 초기화(Windows에서 Git Bash사용) 총관리자 2016.11.17 194

A personal place to organize information learned during the development of such Hadoop, Hive, Hbase, Semantic IoT, etc.
We are open to the required minutes. Please send inquiries to gooper@gooper.com.

위로