最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:51:53
阅读次数：
161
今天看了一下storm的命令行脚本${STORM_HOME}/bin/storm，现在将剖析过程整理一下，作为记录。注：使用的storm版本为0.8.0。${STORM_HOME}/bin/storm文件是用python写的，该文件写的还是相当精简和清晰的。首先，命令的运行从main()方法开始，m...
分类：
其他好文 时间：
2015-04-15 21:03:25
阅读次数：
194
关于storm的Spout、Bolt结构图 绿色部分是我们最常用、比较简单的部分。红色部分是与事务相关的，在以后的文章会具体讲解。 BaseComponent 是Storm提供的“偷懒”的类。为什么这么说呢，它及其子类，都或多或少实现了其接口定义的部分方法。这样我们在用的时候，可以直接继承该类，.....
分类：
其他好文 时间：
2015-04-14 16:27:14
阅读次数：
663
IT-培训基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析Hadoop2.0_YARN_Spark_Storm_Tez技术培训视频教程基于IBM Cognos Report studio技术的商业智能解决方案(广播分发报表、EVENT STUDIO)基于IBM Cog...
分类：
其他好文 时间：
2015-04-13 22:24:18
阅读次数：
392
引自：http://www.michael-noll.com/blog/2013/06/21/understanding-storm-internal-message-buffers/When you are optimizing the performance of your Storm topo...
分类：
其他好文 时间：
2015-04-13 20:26:34
阅读次数：
178
0.前言 需求是这么来的，搭建了Storm集群进行协同过滤算法的计算性能测试，要求精度在毫秒（ms）级别。局域网内40个虚拟机节点，用 date 命令，精度上和效率上都不可行。所以，就搭建了 NTP 服务器。1.简介 简单的说就是选择几部主要主机 (Primary server) 调校时间，让这.....
分类：
系统相关 时间：
2015-04-13 18:29:04
阅读次数：
247
Storm是什么 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于 hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoo...
分类：
其他好文 时间：
2015-04-12 16:21:43
阅读次数：
312
Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己...
分类：
其他好文 时间：
2015-04-12 14:33:28
阅读次数：
3522
Storm并发配置的优先级： defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific ...
分类：
其他好文 时间：
2015-04-12 14:32:31
阅读次数：
137
分布式的实时计算框架，storm对于实时计算的意义类似于hadoop对于批处理的意义。 Storm的适用场景： 1.流数据处理：storm可以用来处理流式数据，处理之后将结果写到某个存入中去。 2.持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标 3.分布式RPC：由于sto...
分类：
其他好文 时间：
2015-04-12 10:34:30
阅读次数：
161
