1.Storm是什么:Storm简单来说,就是分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点:1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类:
其他好文 时间:
2014-09-29 20:00:11
阅读次数:
225
The Observer PatternThe Observer is a design pattern where an object (known as a subject) maintains a list of objects depending on it (observers), aut...
分类:
编程语言 时间:
2014-09-29 03:15:49
阅读次数:
287
The Singleton PatternThe Singleton pattern is thus known because it restricts instantiation of a class to a single object. Classically, the Singleton ...
分类:
编程语言 时间:
2014-09-29 02:54:37
阅读次数:
360
The Module PatternModulesModules are an integral piece of any robust application's architecture and typically help in keeping the units of code for a ...
分类:
编程语言 时间:
2014-09-28 23:04:55
阅读次数:
275
In classical object-oriented programming languages, a constructor is a special method used to initialize a newly created object once memory has been a...
分类:
编程语言 时间:
2014-09-28 22:56:05
阅读次数:
213
要解决的问题,频繁项集 最暴力的方法,就是遍历所有的项集组合,当然计算量过大 最典型的算法apriori, 算法核心思想,当一个集合不是频繁项集,那么它的超集也一定不是频繁项集 这个结论是很明显的,基于这样的思路,可以大大减少频繁项集的候选项 因为你只要发现一个集合非频繁项集,那么他所有的超集都可以...
分类:
其他好文 时间:
2014-09-28 15:27:22
阅读次数:
346
Basic Knowlege points:1: it's necessary that there is only one public class in per .java file2: .java file name should better to same as class name3: ...
分类:
编程语言 时间:
2014-09-28 13:23:52
阅读次数:
313
对于一个concept class C,如果存在一个算法A和一个多项式poly(.,.,.,.),有对于任意的ε>0、δ>0以及X的任意分布D和任何target concept C,当sample size m>=poly(1/ε,1/δ,n,size(c))时,不等式: 都成立,那么就说这个con...
分类:
其他好文 时间:
2014-09-27 16:12:20
阅读次数:
297
本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的,公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手,对比现有计算框架和业界正在开展的项目,分析分析这件事的表面和背后深层的含义,以及可想象空间。...
分类:
其他好文 时间:
2014-09-26 19:59:38
阅读次数:
220
storm与kafka单机功能整合很顺利,但是到了storm集群环境和数据处理性能时则出现了一些问题,现将测试过程和问题简单记录如下: ? ? 性能指标:每分钟处理至少100万的信息(csv格式,100bytes左右),信息...
分类:
其他好文 时间:
2014-09-26 12:59:39
阅读次数:
228