许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
流的合并操作，是指根据两个流的关联条件将两个流合并成一个流，然后在进行后面的处理操作，如果使用Spout和Bolt这种编程模型的话写起来会比较困难和繁琐，因为要设置缓冲区来保存第一次过来的数据，后续还要进行两者的比较，使用Trident应用起来比较方便，对原来的编程模型进行了一定的抽象。代码实例：
需求：
两个spout： spout1:里面的数据是 nam...
分类：
其他好文 时间：
2015-04-16 19:57:03
阅读次数：
212
storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2鉴于前面已经分析了脚本的解析过程，现在重点分析topology1.jar的执行。以storm-starter中的ExclamationTopology为例，来进行剖析：pu...
分类：
其他好文 时间：
2015-04-16 19:46:05
阅读次数：
239
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:53:54
阅读次数：
174
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:51:53
阅读次数：
161
今天看了一下storm的命令行脚本${STORM_HOME}/bin/storm，现在将剖析过程整理一下，作为记录。注：使用的storm版本为0.8.0。${STORM_HOME}/bin/storm文件是用python写的，该文件写的还是相当精简和清晰的。首先，命令的运行从main()方法开始，m...
分类：
其他好文 时间：
2015-04-15 21:03:25
阅读次数：
194
关于storm的Spout、Bolt结构图 绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的，在以后的文章会具体讲解。 BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢，它及其子类，都或多或少实现了其接口定义的部分方法。这样我们在用的时候，可以直接继承该类，.....
分类：
其他好文 时间：
2015-04-14 16:27:14
阅读次数：
663
浏览器核心也叫浏览器渲染， 是对网页语法的解析，和渲染网页。不同的浏览器使用的内核可能不同，所以在不同的浏览器上网页的展现会有所差异，这就需要我们实现所编写的网页能够兼容。1.Trident IE的核心，是Microsoft的产品 Trident才开始发展的时候，几乎一直独占市场，微...
分类：
其他好文 时间：
2015-04-14 16:19:02
阅读次数：
145
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-04-13 22:24:18
阅读次数：
392
引自：http://www.michael-noll.com/blog/2013/06/21/understanding-storm-internal-message-buffers/When you are optimizing the performance of your Storm topo...
分类：
其他好文 时间：
2015-04-13 20:26:34
阅读次数：
178
