主要内容
Spark SQL、DataFrame与Spark Streaming
1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetworkW...
分类：
数据库 时间：
2015-11-29 19:41:25
阅读次数：
243
转自：http://blog.jobbole.com/88283/一、来源Streaming Hadoop Performance Optimization at Scale, Lessons Learned at Twitter(Data platform @Twitter)二、观后感2.1 概要...
分类：
其他好文 时间：
2015-11-29 06:24:40
阅读次数：
109
答：1 Flash流媒体服务器 Red52 Darwin Streaming Server3 流媒体服务器 Open Streaming Server4 MPEG4IP5 开源流媒体平台 FreeCast6 流媒体服务器 Yass7 开源流媒体平台 Stream-2-Stream8 Flumotio...
分类：
其他好文 时间：
2015-11-19 16:12:00
阅读次数：
147
1. 大数据目前代名词spark，是一个快速的集群计算系统，它的功能之一是streaming，支持实时的数据流，把实时数据流按时间变为离散数据流 discretized stream，其中每一个离散集合RDD resilient distributed dataset2. 计算函数包括：flatMa...
分类：
其他好文 时间：
2015-11-17 12:32:59
阅读次数：
121
Causedby:java.lang.AssertionError:assertionfailed:Ranoutofmessagesbeforereachingendingoffset264251742fortopictopic partition1start264245135.Thisshould...
分类：
其他好文 时间：
2015-11-16 15:34:42
阅读次数：
3085
http-live-streaming 协议分析：不受限制的多媒体数据流的传输。协议支持媒体数据加密与流切换（例如不同码率）。媒体数据创建后立即传输，播放接近实时。媒体数据通常采用HTTP进行传输。播放列表由一个有序的媒体URI列表和信息标签组成，每个媒体URI指向一个媒体文件，这个媒体文件是单个连...
分类：
Web程序 时间：
2015-11-16 00:34:59
阅读次数：
387
原文链接：Spark Streaming：大规模流式数据处理的新贵摘要：Spark Streaming是大规模流式数据处理的新贵，将流式计算分解成一系列短小的批处理作业。本文阐释了Spark Streaming的架构及编程模型，并结合实践对其核心技术进行了深入的剖析，给出了具体的应用场景及优化方案。...
分类：
其他好文 时间：
2015-11-15 14:46:47
阅读次数：
201
看书大概了解了下Streaming的原理，但是木有动过手啊。。。万事开头难啊，一个wordcount 2小时怎么都运行不出结果。是我太蠢了，好了言归正传。SparkStreaming是一个批处理的流式计算框架，适合处理实时数据与历史数据混合处理的场景（比如，你用streaming将实时数据读入处理，...
分类：
其他好文 时间：
2015-11-14 16:23:23
阅读次数：
267
原文链接：Spark Streaming性能调优详解 SparkStreaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然...
分类：
其他好文 时间：
2015-11-13 13:07:43
阅读次数：
278
Jackson:processing JSON1.Streaming API2.Tree Model3.Data BindingXML：processing XML1.StAX API2.JAXB3.XML DOM
分类：
Web程序 时间：
2015-11-13 11:40:12
阅读次数：
174
