메뉴 건너뛰기

Cloudera, BigData, Semantic IoT, Hadoop, NoSQL

Cloudera CDH/CDP 및 Hadoop EcoSystem, Semantic IoT등의 개발/운영 기술을 정리합니다. gooper@gooper.com로 문의 주세요.


spark Scala를 이용한 Streaming예제

총관리자 2018.03.08 09:59 조회 수 : 4296


object StreamingRequestCount {
  def main(args: Array[String]) {
    val ssc = new StreamingContext(new SparkContext(),Seconds(2))
    val mystream = ssc.socketTextStream(hostname, port)
    val userreqs = mystream.map(line => (line.split(' ')(2),1))
        .reduceByKey((x,y) => x+y)
    userreqs.print()
    ssc.start()
    ssc.awaitTermination()
  }
}


번호 제목 날짜 조회 수
107 tablet별 disk사용량 확인하는 방법 2021.08.27 3756
106 Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 발생시 조치사항 2017.04.19 3753
105 mysql sqoop작업을 위해서 mysql-connector-java.jar을 추가하는 경우 확실하게 인식시키는 방법 2020.05.11 3748
104 Hadoop의 Datanode를 Decommission하고 나서 HBase의 regionservers파일에 해당 노드명을 지웠는데 여전히 "Dead regionser"로 표시되는 경우 처리 2018.01.25 3736
103 root계정으로 MariaDB설치후 mysql -u root -p로 db에 접근하여 바로 해줘야 하는일..(케릭터셑은 utf8) 2015.10.02 3732
102 cassandra cluster 문제가 있는 node제거 하기(DN상태의 노드가 있으면 cassandra cluster 전체에 문제가 발생하므로 반드시 제거할것) 2017.06.21 3728
101 cloudera의 hue에서 사용자가 사용한 쿼리 목록 2020.02.07 3721
100 kafka로 부터 메세지를 stream으로 받아 처리하는 spark샘플소스(spark의 producer와 consumer를 sbt로 컴파일 하고 서버에서 spark-submit하는 방법) 2016.07.13 3719
99 hadoop 어플리케이션을 사용하는 사용자 변경시 바꿔줘야 하는 부분 2016.09.23 3713
98 spark-submit 실행시 "java.lang.OutOfMemoryError: Java heap space"발생시 조치사항 2018.02.01 3711
97 Cluster Install -> Provide Login Credentials에서 root가 아닌 다른 사용자를 지정하는 경우 "Exhausted available authentication methods"오류 발생시 조치방법 2018.05.22 3673
96 Current heap configuration for MemStore and BlockCache exceeds the threshold required for successful cluster operation 2017.07.18 3665
95 sentry설정후 beeline으로 hive2server에 접속하여 admin계정에 admin권한 부여하기 2018.07.03 3659
94 hive기동시 Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D 오류 발생시 조치사항 2016.09.25 3631
93 producer / consumer구현시 설정 옵션 설명 2016.10.19 3621
92 Embedded PostgreSql설정을 외부의 MariaDB로변경하기 [1] 2018.05.22 3608
91 hive에서 insert overwrite directory.. 로 하면 default column구분자는 'SOH'혹은 't'가 됨 2014.05.20 3593
90 CDH 5.14.2 설치중 agent설치에서 실패하는 경우 확인/조치 2018.05.22 3576
89 spark notebook 0.7.0설치및 설정 2016.11.14 3575
88 kafkaWordCount.scala의 producer와 consumer 클래스를 이용하여 kafka를 이용한 word count 테스트 하기 2016.08.02 3561
위로