原文链接：Spark Streaming性能调优详解 SparkStreaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然...
分类：
其他好文 时间：
2015-11-13 13:07:43
阅读次数：
278
Jackson:processing JSON1.Streaming API2.Tree Model3.Data BindingXML：processing XML1.StAX API2.JAXB3.XML DOM
分类：
Web程序 时间：
2015-11-13 11:40:12
阅读次数：
174
1. 首先启动zookeeper2. 启动kafka3. 核心代码生产者生产消息的java代码，生成要统计的单词package streaming;import java.util.Properties; import kafka.javaapi.producer.Producer; impo...
分类：
编程语言 时间：
2015-11-12 17:56:35
阅读次数：
493
原文链接：http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/index.html?ca=drs-&utm_source=tuicool引言在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据...
分类：
其他好文 时间：
2015-11-09 10:32:03
阅读次数：
367
我先做一下自我介绍，我是 2007 年加入的 Google，在 Moutain View 总部任 Google SRE，今年年初回国加入 Coding。 在 Google 我参与了两个 Project，第一个就是 Youtube，其中包括 Video transcoding, streaming.....
分类：
其他好文 时间：
2015-11-04 21:20:47
阅读次数：
226
An?URLConnection?for HTTP (RFC 2616) used to send and receive data over the web. Data may be of any type and length. This class may be used to send and receive streaming data whose length is not...
分类：
Web程序 时间：
2015-11-04 15:05:03
阅读次数：
360
转载http://www.cnblogs.com/shapherd/archive/2012/12/21/2827860.htmlhadoop 支持reduce多路输出的功能，一个reduce可以输出到多个part-xxxxx-X文件中，其中X是A-Z的字母之一，程序在输出对的时候，在value的后...
分类：
其他好文 时间：
2015-11-02 15:31:58
阅读次数：
174
转发自玖疯的博客 http://www.cnblogs.com/lxf20061900/p/3866252.html Spark Streaming是一个新的实时计算的利器，而且还在快速的发展。它将输入流切分成一个个的DStream转换为RDD，从而可以使用Spark来处理。它直接支持多种数据源.....
分类：
Web程序 时间：
2015-10-29 13:11:47
阅读次数：
328
转自：http://zhangjunhd.blog.51cto.com/113473/25481/本文主要介绍RTP与RTCP协议。author: ZJ06-11-17Blog:[url]http://zhangjunhd.blog.51cto.com/[/url]1．流媒体( Streaming ...
分类：
其他好文 时间：
2015-10-29 00:32:22
阅读次数：
228
数据预处理技术数据清理：空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除数据集成：将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换：平滑、聚集、规范化、最小 最大规范化等数据归约：维归（删除不相关的属性（维））、数据压缩（PCA,LDA,SVD、小...
分类：
其他好文 时间：
2015-10-28 21:14:34
阅读次数：
546
