接着Spark整合kafka0.10.0新特性(一)开始
import org.apache.kafka.clients.consumer.ConsumerRecord
import o...
分类：
其他好文 时间：
2017-03-12 21:55:34
阅读次数：
4812
Spark_总结五 1.Storm 和 SparkStreaming区别 Storm 纯实时的流式处理，来一条数据就立即进行处理 SparkStreaming 微批处理，每次处理的都是一批非常小的数据 Storm支持动态调整并行度（动态的资源分配），SparkStreaming(粗粒度， 比较消耗资 ...
分类：
其他好文 时间：
2017-03-12 16:53:25
阅读次数：
378
objectHextendsApp{
valconf=newSparkConf().setMaster("local[2]").setAppName("hello")
valss=newStreamingContext(conf,Seconds(5))
valkafkaParams=Map[String,String]("metadata.broker.list"->"myhadoop1:9092")
ss.checkpoint("hdfs://myhadoop1:8020/data")
valtopi..
分类：
其他好文 时间：
2017-03-10 22:30:49
阅读次数：
194
创建SparkStreamingContext1)valconf=newSparkConf().setMaster("local[2]").setAppName("wordcount")valstreamContext=newStreamingContext(conf,Seconds(5))2)valsps=newStreamingContext(newSparkContext(conf),Seconds(5))//如果关闭的时候只想关闭StreamingContext不想关..
分类：
其他好文 时间：
2017-03-10 19:40:58
阅读次数：
130
importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.Secondsimportorg.apache.spark.streaming.StreamingContextobjectWordCountextendsApp{valconf=newSparkConf().setMaster("local[2]").setAppName("wordcount")valstreamContext=newStreamingContext(conf,..
分类：
其他好文 时间：
2017-03-10 11:23:15
阅读次数：
169
花了很长时间尝试druid官网上说的Tranquility嵌入代码进行实时发送数据到druid，结果失败了，各种各样的原因造成了失败，现在还没有找到原因，在IDEA中可以跑起，放到线上就死活不行，有成功了的同仁希望贴个链接供我来学习学习；后来又尝试了从kafka实时发送到druid，还是有些错误，感 ...
分类：
其他好文 时间：
2017-03-09 13:09:32
阅读次数：
2341
一、前言<!--more--> 在使用Spark Streaming中的Kafka Direct API进行Kafka消费的过程中，通过spark-submit的方式提交jar包,会出现如下错误信息,提示无法找到KafkaUtils。 Exceptionin thread "main" java.l ...
分类：
其他好文 时间：
2017-03-08 23:04:59
阅读次数：
379
http://blog.cloudera.com/blog/2015/03/exactly-once-spark-streaming-from-apache-kafka/ http://www.jianshu.com/p/b4af851286e5 streaming通过direct接收数据的入口是c... ...
分类：
其他好文 时间：
2017-03-05 13:30:23
阅读次数：
210
1、为什么引入Backpressure 默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time > batch interval的情况，其中batch processing time 为实际计算一个批次 ...
分类：
其他好文 时间：
2017-03-01 20:58:52
阅读次数：
216
StAX （Streaming API for XML）面向流的拉式解析XML，速度快、占用资源少，非常合适处理大数据量的xml文件。 详细教程和说明可以参见以下几篇文章： 使用 StAX 解析 XML，第 1 部分: Streaming API for XML (StAX) 简介 http://w ...
