欢迎转载，转载请注明出处，徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spa...
分类：
其他好文 时间：
2014-07-07 14:44:43
阅读次数：
213
欢迎转载，转载请注明出处，徽沪一郎，谢谢。在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理...
分类：
其他好文 时间：
2014-07-07 14:36:48
阅读次数：
275
实验目的:
让Nginx支持flv和mp4格式文件，支持RTMP协议的直播和点播；
同时打开RTMP的HLS功能
?资料:
HTTP Live Streaming（缩写是 HLS）是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。
HLS只请求基本的HTTP报文，与实时传输协议（RTP)不同，HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。
它也很容易使用内容分...
分类：
其他好文 时间：
2014-07-02 16:37:24
阅读次数：
170
1. 打开spark-shell2. 建立StreamingContextimport org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._import org.apache.spark.ap...
分类：
其他好文 时间：
2014-06-28 23:07:17
阅读次数：
324
LEADTOOLS Video Streaming Module控件为您创建一个自定义的视频会议应用程序和工具提供所有需要的功能。软件开发人员可以使用Video Streaming Module SDK，通过一些不同的配置来创建一些客户端/服务器应用程序。例如，如果有一个服务器需要向多个客户端发送音...
分类：
其他好文 时间：
2014-06-24 10:47:26
阅读次数：
217
DASH Basics: MPD and Segments
Let’s quickly summarize how a DASH content is made of:
MPD: an XML document describing where the various media resources present in the content are located. The med...
分类：
其他好文 时间：
2014-06-22 19:30:15
阅读次数：
232
hadoop 0.18文档（详细介绍Hadoop，MapReduce，FS Shell，Streaming等）hadoop资料汇总（XX搜集的，还没看）streaming（非java程序员的福音）Hadoop Streaming编程实例Hadoop Streaming编程Hadoop Streami...
分类：
其他好文 时间：
2014-06-20 18:33:43
阅读次数：
160
1、概述Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）$HADOOP_HOME/bi...
分类：
其他好文 时间：
2014-06-19 06:10:13
阅读次数：
345
前言今天Spark最终跨出了里程碑的一步，1.0.0版本号的公布标志着Spark已经进入1.0时代。1.0.0版本号不仅增加了非常多新特性，而且提供了更好的API支持。Spark SQL作为一个新的组件增加，支持在Spark上存储和操作结构化的数据。已有的标准库比方ML、Streaming和Grap...
分类：
其他好文 时间：
2014-06-18 15:29:22
阅读次数：
208
概况Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程。一个最简单的程序$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar-input myInputDirs...
分类：
其他好文 时间：
2014-06-17 15:33:54
阅读次数：
330
