来自阿里的流处理框架:JStorm 关于流处理框架,在先前的文章汇总已经介绍过Strom,今天学习的是来自阿里的的流处理框架JStorm。简单的概述JStorm就是:JStorm 比Storm更稳定,更强大,更快,Storm上跑的程序,一行代码不变可以运行在JStorm上。直白的讲JStorm是阿....
分类:
Web程序 时间:
2015-04-03 12:51:23
阅读次数:
176
最近在组内作了次简单的分享,题目是实时数据流的处理,切入点主要是推荐系统中多种实时数据流的实时计算问题,当然像搜索的trends, 广告的实时计费等也可能会碰到类似的问题,PPT里面简单的介绍了下线上系统实际的结构和流程,系统上线运行近半年多,虽然没有出现过问题,其中有些问题还是值得修改和改善的,如果有业务相关的需求,这些问题会一并改善。
主要处理的问题:
1. 乱序的问题,这个在多数...
分类:
其他好文 时间:
2015-03-29 16:34:56
阅读次数:
173
这里对目前业界开源的一些实时流处理系统做一次小结,作为日后进行技术调研的参考资料。S4S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台,在该平台上程序...
分类:
其他好文 时间:
2015-03-27 23:45:09
阅读次数:
164
学习OpenCV已有一段时间,除了研究各种算法的内容,在空闲之余,根据书本及资料的引导,尝试结合图像处理算法和日常生活联系起来,首先在台式机上(带摄像头)完成一系列视频流处理功能,开发平台为Qt5.3.2+OpenCV2.4.9。本次试验实现的功能主要有:
调用摄像头捕获视频流;
将帧图像转换为素描效果图片;
将帧图像卡通化处理;
简单地生成“怪物”形象;
人脸肤色变换。...
分类:
其他好文 时间:
2015-03-17 23:34:50
阅读次数:
898
一个知乎问题:VS2013,debug模式int i = 4;cout using namespace std;int c = 6;int f(){ c+=1; return c;}int main(){ int i = 0; cout i = 0;> printf("i=%d i++=%d i-....
分类:
其他好文 时间:
2015-03-14 13:47:24
阅读次数:
143
* 1.流的分类:* 按照数据流向的不同:输入流 输出流* 按照处理数据的单位的不同:字节流 字符流(处理的文本文件)* 按照角色的不同:节点流(直接作用于文件的) 处理流* * 2.IO的体系* 抽象基类 节点流(文件流) 缓冲流(处理流的一种)* InputStream FileInput...
分类:
编程语言 时间:
2015-03-03 23:32:39
阅读次数:
151
Java 流在处理上分为字符流和字节流。字符流处理的单元为 2 个字节的 Unicode 字符,分别操作字符、字符数组或字符串,而字节流处理单元为 1 个字节,操作字节和字节数组。Java 内用 Unicode 编码存储字符,字符流处理类负责将外部的其他编码的字符流和 java 内 Unicode ...
分类:
编程语言 时间:
2015-03-03 18:05:46
阅读次数:
161
原文地址:http://www.adobe.com/cn/devnet/flashmediaserver/articles/multicast_streaming_osmf.html使用OSMF实现实时多播流处理在本文中,将借助Adobe Flash Media Live Encoder、Adobe...
分类:
其他好文 时间:
2015-02-22 23:01:30
阅读次数:
309
主要整理了一下,pig里面的一些关键词的含义和用法,pig虽然是一种以数据流处理为核心的框架,但数据库的大部分关键词和操作,在pig里面基本上都能找到对应的函数,非常灵活与简洁,春节前的最后一篇文章了,祝...
分类:
Web程序 时间:
2015-02-14 07:42:26
阅读次数:
171
主要整理了一下,pig里面的一些关键词的含义和用法,pig虽然是一种以数据流处理为核心的框架,但数据库的大部分关键词和操作,在pig里面基本上都能找到对应的函数,非常灵活与简洁,春节前的最后一篇文章了,祝大家春节快乐!1,保留关键字:--A assert,and,any,all,arrange,as..
分类:
Web程序 时间:
2015-02-14 01:15:17
阅读次数:
189