分布式流处理，类似于MapReduce这样的通用计算模型，但是却要求它能够在毫秒级别或者秒级别完成响应。这些系统可以用DAG表示流处理的拓扑。 在比较不同系统是，可以参照如下几点 一个平台提供的编程模型往往会决定很多它的特性，并且这个编程模型应该足够处理所有可能的用户案例。 一个合格的处理平台应该能
分类：
Web程序 时间：
2016-03-18 13:34:02
阅读次数：
315
一.流概述 流是一组有序的数据序列，根据操作的类型，可分为输入流和输出流两种。I/O流提供了―条通道程序，可以使用这条通道把源中的字节序列送到目的地，虽然I/O流经常与磁盘文件存取有关，但是程序的源和目的地也可以是键盘鼠标、内存或显示器窗口等。 Java由数据流处理输入输出模式，程序从指向源的输入流
分类：
其他好文 时间：
2016-03-15 22:01:38
阅读次数：
291
一.流概述 流是一组有序的数据序列，根据操作的类型，可分为输入流和输出流两种。I/O流提供了―条通道程序，可以使用这条通道把源中的字节序列送到目的地，虽然I/O流经常与磁盘文件存取有关，但是程序的源和目的地也可以是键盘鼠标、内存或显示器窗口等。 Java由数据流处理输入输出模式，程序从指向源
分类：
其他好文 时间：
2016-03-14 18:50:09
阅读次数：
235
/* 记住每个类相应的用法*/流的分类： io包内定义了所有的流 分类： 方向：输入流、输出流 处理数据单位：字节流、字符流 功能不同：节点流、处理流 所有流类型，位于java.io包内，分别继承以下四种抽象流类型 InputStream 字节流、输入流 OutputStream 字节流、输出流 R
分类：
编程语言 时间：
2016-02-25 19:54:59
阅读次数：
251
什么是Trident? 1、基于Storm用于实时计算的高级抽象源语； 有何优势？ 1、支持高吞吐(每秒百万级别)，有状态的流处理； 2、提供低延时的分布式查询功能； 3、Trident具有连接、聚合、分组、自定义行为和过滤的功能； 4、基于内存或数据库做有状态的增量式的计算； 5、能够保证每个Tu
分类：
其他好文 时间：
2016-02-24 19:22:47
阅读次数：
280
前两篇文章介绍了音频码流处理程序和视频码流处理程序，本文介绍将他们打包到一起后的数据——封装格式数据的处理程序。封装格式数据在视频播放器中的位置如下所示。本文中的程序是一个FLV封装格式解析程序。该程序可以从FLV中分析得到它的基本单元Tag，并且可以简单解析Tag首部的字段。通过修改该程序可以实现不同的FLV格式数据处理功能。原理FLV封装格式是由一个FLV Header文件头和一个一个的Tag...
分类：
其他好文 时间：
2016-02-01 02:21:47
阅读次数：
479
本文继续上一篇文章的内容，介绍一个音频码流处理程序。音频码流在视频播放器中的位置如下所示。本文中的程序是一个AAC码流解析程序。该程序可以从AAC码流中分析得到它的基本单元ADTS frame，并且可以简单解析ADTS frame首部的字段。通过修改该程序可以实现不同的AAC码流处理功能。原理AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。其中每个A...
分类：
其他好文 时间：
2016-01-31 13:36:53
阅读次数：
406
前两篇文章介绍的YUV/RGB处理程序以及PCM处理程序都属于视音频原始数据的处理程序。从本文开始介绍视音频码流的处理程序。本文介绍的程序是视频码流处理程序。视频码流在视频播放器中的位置如下所示。本文中的程序是一个H.264码流解析程序。该程序可以从H.264码流中分析得到它的基本单元NALU，并且可以简单解析NALU首部的字段。通过修改该程序可以实现不同的H.264码流处理功能。原理H.264原...
分类：
其他好文 时间：
2016-01-31 03:14:25
阅读次数：
710
Spark简述Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足 于内存计算。从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式。 特点： 1、轻 Spark 0.6核心代码有2万行，Hadoop1.0为9万行，2.0为22万行。2、快 Spa...
分类：
其他好文 时间：
2016-01-23 13:15:09
阅读次数：
546
在Bellman-Ford算法中 我们可以看到大量的优化空间：如果一个点的最短路径已经确定了，那么它就不会再改变，因此不需要再处理。换句话说：我们每次只对最短路径改变了的顶点的所有出边进行操作使用一个队列就可以实现这个“轮流处理“的效果：具体操作：选取一个顶点，入队，枚举它的出边，进行松弛，把松弛后...
分类：
编程语言 时间：
2016-01-14 18:51:44
阅读次数：
148
