1、MapReduce和Spark比较 目前的大数据处理可以分为以下三个类型： 1、复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间； 2、基于历史数据的交互式查询（interacti...
分类：
其他好文 时间：
2015-05-29 06:23:40
阅读次数：
319
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API，具有高度的一致性和强大的容错能力。基于Spark分布式计算框架，进行扩展实现了一个D-Stream的原型，称为Spark Streaming。
分类：
其他好文 时间：
2015-05-28 19:51:10
阅读次数：
522
1、ACL Anthology A Digital Archive of Research Papers in Computational Linguistics and Natural Language Processing 旧版：http://aclweb.org/anthology/ 新版：http://aclanthology.info/ 2、ACL Antholo...
分类：
编程语言 时间：
2015-05-28 18:28:29
阅读次数：
194
上篇文章写到需求说明书中要加入IPO图，具体什么是IPO图，我又详细了解了一下。
IPO是指结构化设计中变换型结构的输入（Input）、加工（Processing）、输出（Output）。是为每个模块进行详细进行详细设计的工具。
说白了就是IPO图就是要说明输入、输出的数据以及数据处理
在这里以登陆为例：
登陆过程中，输入的数据是用户名和密码。处理：检查...
分类：
Web程序 时间：
2015-05-26 09:23:30
阅读次数：
208
MRQL is a query processing and optimization system for large-scale, distributed data analysis, built on top of Apache Hadoop, Hama, Spark, and Flink....
分类：
Web程序 时间：
2015-05-25 16:47:38
阅读次数：
176
从现有的CEP（Complex Event Processing）框架，像强大得Esper，我们学到很多工作完全可以通过写sql来完成的，不需要编写任何的代码。所以对于流处理我认为也需要这样的类似sql查询语言。目前像Storm这样的流处理平台框架强迫使用者去实现像silding window，一些query pattern的操作。我认为并不是每一个案例开发者都喜欢重写这些东西。所以我们需要high...
分类：
数据库 时间：
2015-05-25 13:05:31
阅读次数：
200
自定义一个注解，如果此注解需要在编译期检查注解相关的值，可以自定义一个Annotation的处理类，该类在javax.annotation.processing包中，示例如下：1）自定义一个annotation,如Version.javaimportjava.lang.annotation.Documented;
importjava.lang.annotation.Inherited;
imp..
分类：
其他好文 时间：
2015-05-25 06:10:32
阅读次数：
234
概念主题模型(PTM, probabilitytopical model)在自然语言处理(NLP,natural language processing)中有着重要的应用。主要包括以下几个模型：LSA(latentsemantic
analysis)、 PLSA(probability latent semantic analysis)、LDA(latentdirichlet allocati...
分类：
其他好文 时间：
2015-05-23 14:16:13
阅读次数：
242
3 处理模型（Processing Model）
Esper的处理模型是持续的：更新监听器listener和订阅者subscriber，当事件到来时，根据声明对事件流、视图、过滤和输出等。
监听器的接口是com.espertech.esper.client.UpdateListener，必须实现update方法，这个函数会在结果到来时触发。
3.2 插入流（Insert Stre...
分类：
其他好文 时间：
2015-05-21 17:29:32
阅读次数：
249
工欲善其事必先利其器，本文对55个流行的数据可视化工具开源协议，主页，文档，案例等资源的进行简单介绍，其中包括著名的D3.js，R，Gephi，Raphaël，Processing.js，Tableau Public，Google Chart Tools,Arbor.js等，资料来源http://selection.datavisualization.ch/
1 Arbor.js
...
分类：
其他好文 时间：
2015-05-21 10:52:17
阅读次数：
265
