流的合并操作，是指根据两个流的关联条件将两个流合并成一个流，然后在进行后面的处理操作，如果使用Spout和Bolt这种编程模型的话写起来会比较困难和繁琐，因为要设置缓冲区来保存第一次过来的数据，后续还要进行两者的比较，使用Trident应用起来比较方便，对原来的编程模型进行了一定的抽象。代码实例：
需求：
两个spout： spout1:里面的数据是 nam...
分类：
其他好文 时间：
2015-04-16 19:57:03
阅读次数：
212
storm的topology启动过程是执行strom jar topology1.jar MAINCLASS ARG1 ARG2鉴于前面已经分析了脚本的解析过程，现在重点分析topology1.jar的执行。以storm-starter中的ExclamationTopology为例，来进行剖析：pu...
分类：
其他好文 时间：
2015-04-16 19:46:05
阅读次数：
239
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:53:54
阅读次数：
174
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:51:53
阅读次数：
161
今天看了一下storm的命令行脚本${STORM_HOME}/bin/storm，现在将剖析过程整理一下，作为记录。注：使用的storm版本为0.8.0。${STORM_HOME}/bin/storm文件是用python写的，该文件写的还是相当精简和清晰的。首先，命令的运行从main()方法开始，m...
分类：
其他好文 时间：
2015-04-15 21:03:25
阅读次数：
194
关于storm的Spout、Bolt结构图 绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的，在以后的文章会具体讲解。 BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢，它及其子类，都或多或少实现了其接口定义的部分方法。这样我们在用的时候，可以直接继承该类，.....
分类：
其他好文 时间：
2015-04-14 16:27:14
阅读次数：
663
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-04-13 22:24:18
阅读次数：
392
引自：http://www.michael-noll.com/blog/2013/06/21/understanding-storm-internal-message-buffers/When you are optimizing the performance of your Storm topo...
分类：
其他好文 时间：
2015-04-13 20:26:34
阅读次数：
178
0.前言 需求是这么来的，搭建了Storm集群进行协同过滤算法的计算性能测试，要求精度在毫秒（ms）级别。局域网内40个虚拟机节点，用 date 命令，精度上和效率上都不可行。所以，就搭建了 NTP 服务器。1.简介 简单的说就是选择几部主要主机 (Primary server) 调校时间，让这.....
分类：
系统相关 时间：
2015-04-13 18:29:04
阅读次数：
247
Storm是什么 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于 hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoo...
分类：
其他好文 时间：
2015-04-12 16:21:43
阅读次数：
312
