摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
在POI3.8中SXSSF仅仅支持excel2007格式是对XSSF的一种流的扩展。目的在生成excel时候，需要生成大量的数据的时候，通过刷新的方式将excel内存信息刷新到硬盘的方式，提供写入数据的效率。官方原文如下：SXSSF (Streaming Usermodel API)Note SXS...
分类：
其他好文 时间：
2015-07-30 14:48:28
阅读次数：
377
战斗民族俄罗斯人民开发的一款NGINX的流媒体插件，除了直播发布音视频流之外具备流媒体服务器的常见功能 比如推拉流媒体资源 基于HTTP的FLV/MP4 VOD点播 HLS (HTTP Live Streaming)?M3U8的支持 基于http的操作（...
分类：
其他好文 时间：
2015-07-28 11:05:47
阅读次数：
170
Apache Flume是一个用来有效地收集，聚集和移动大量日志数据的分布式的，可获得的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。
Python API：Flume现在还不支持PythonAPI
方法1：Flume风格的推方法
Flume被设计用来在Flume代理之间推送数据。在这种方法中，Spark Streami...
分类：
Web程序 时间：
2015-07-24 09:24:14
阅读次数：
163
（一）官方入门示例废话不说，先来个示例，有个感性认识再介绍。这个示例来自spark自带的example，基本步骤如下：（1）使用以下命令输入流消息：$ nc -lk 9999（2）在一个新的终端中运行NetworkWordCount，统计上面的词语数量并输出：$ bin/run-example st...
分类：
其他好文 时间：
2015-07-20 12:25:53
阅读次数：
177
Wowza服务器支持点播和直播模式，支持Adobe HTTP Dynamic Streaming（Adobe HDS）、Apple HTTP Live Streaming（Apple HLS）、Microsoft Smooth Streaming、MPEG-DASH Streaming、MPEG-2...
分类：
其他好文 时间：
2015-07-17 09:32:41
阅读次数：
170
实时流处理系统必须要能在24/7时间内工作，因此它需要具备从各种系统故障中恢复过来的能力。最开始，Spark Streaming就支持从driver和worker故障恢复的能力。本文谈及Spark Streaming容错的改进和零数据丢失的实现。【编者按】本文来自SparkStreaming项目带头...
分类：
其他好文 时间：
2015-07-15 13:01:32
阅读次数：
134
使用poi 3.8版本导出excel时，在本地和测试环境都是好使的，但是部署到线上环境（linux＋tomcat）后直接报错，报错日志如下图：
java.lang.RuntimeException: java.io.IOException: No such file or directory
at org.apache.poi.xssf.streaming.SXSSFWorkb...
分类：
其他好文 时间：
2015-07-14 20:28:57
阅读次数：
234
详细内容参照Spark官网：http://spark.apache.org/
Spark相关项目：
Spark SQL 、Spark Streaming 、Machine Learning 、GraphX
1、Spark SQL ：用Spark编写的混合SQL查询，能在分布式数据集中查询结构化数据，使得复杂分析算法的查询更容易。
2、Spark Streaming ：Spark Strea...
分类：
其他好文 时间：
2015-07-14 11:35:22
阅读次数：
257
废话不说，先来个示例，有个感性认识再介绍。这个示例来自spark自带的example，基本步骤如下：（1）使用以下命令输入流消息：$ nc -lk 9999（2）在一个新的终端中运行NetworkWordCount，统计上面的词语数量并输出：$ bin/run-example streaming.N...
分类：
其他好文 时间：
2015-07-13 13:42:31
阅读次数：
2037
