大家应该听我在前言篇里扯皮后，迫不及待要来一看Samza究竟是何物了吧？先了解一下Samza的Background是必不可少的（至少官网上是放在第一个的），我们需要从哪些技术背景去了解呢？
什么是消息（Messaging）？
消息系统是一种实现近实时异步计算的流行方案。消息产生时可以被放入一个消息队列（ActiveMQ，RabbitMQ）、发布-订阅系统（Kestrel...
分类：
其他好文 时间：
2014-10-27 23:10:44
阅读次数：
349
希望上一篇背景篇让大家对流式计算有了宏观的认识，本篇根据官网是介绍概念，先让我们看看有哪些东西呢？
概念一：Streams
Samza是处理流的。流则是由一系列不可变的一种相似类型的消息组成。举个例子，一个流可能是在一个网站上的所有点击，或者更新到一个特定数据库表的更新操作，或者是被一个服务或者事件数据生成所有日志信息。消息能够被加到另一个流之后或者从一个流中读取。一个...
分类：
其他好文 时间：
2014-10-27 23:05:34
阅读次数：
699
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，...
分类：
其他好文 时间：
2014-10-01 17:02:51
阅读次数：
360
1.Storm是什么:Storm简单来说，就是分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点：1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类：
其他好文 时间：
2014-09-29 20:00:11
阅读次数：
225
alibaba/jstormJStorm 是一个分布式实时计算引擎。JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，Jstorm将这个任务跑起来，并且按7 * 24小时运行起来，一旦中间一个worker 发生意外...
分类：
Web程序 时间：
2014-09-29 13:56:41
阅读次数：
273
大数据数据处理最常用的是两类模式：批处理和流计算。在open source领域，批处理最有名的组件自然是大名鼎鼎的Hadoop MapReduce，而流计算则是Storm。 Storm是一个分布式的、容错的实时计算系统，目前是Apache 的一个incubator project (http://storm.incubator.apache.org/）。介绍Storm基本概念的文章已经很多了，本文就不再赘述。在此仅仅速记一下笔者实际安装 Storm的步骤。...
分类：
其他好文 时间：
2014-09-14 23:44:17
阅读次数：
284
1.Spark Streaming 代码分析：
1.1 示例代码DEMO：
实时计算的WorldCount：
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org....
分类：
其他好文 时间：
2014-08-24 00:24:21
阅读次数：
615
实时计算里，需要对日志实时收集，logstash可以做到。目前的版本是1.4.2，官方文档在http://www.logstash.net/docs/1.4.2/，里面有详细的配置说明，使用也很简单。这里主要对logstash的可靠性做了简单的验证intput为file，kill掉logstas.....
分类：
其他好文 时间：
2014-08-17 22:44:32
阅读次数：
2054
针对当前热门实时计算技术storm的参数设置总结，已经性能测试！...
分类：
其他好文 时间：
2014-08-13 19:06:27
阅读次数：
282
在应用里经常都有用到在后台跑定时任务的需求。举个例子，比如需要在服务后台跑一个定时任务来进行非实时计算，清除临时数据、文件等。在本文里，我会给大家介绍3种不同的实现方法：普通thread实现TimerTask实现ScheduledExecutorService实现普通thread这是最常见的，创.....
分类：
编程语言 时间：
2014-08-09 11:17:51
阅读次数：
282
