事先配置2台服务器配置好zookeeper，在配置文件中用zookeeper管理集群，配置文件如下配置文件/conf/storm.yamlsupervisor.slots.ports: 对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的...
分类：
其他好文 时间：
2014-11-16 21:28:57
阅读次数：
273
STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每...
分类：
其他好文 时间：
2014-11-16 21:24:49
阅读次数：
223
Storm 0.9.2安装指南0 Storm0.9的亮点引用网上的描述：“Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插拔形式，当前包含两种方式：原来的0mq传输，以及新的netty实现；在早期版本中（0.9.x之前的版本），Storm只支持0mq传输，由于0MQ是一个本地库（native library），对平台的依赖性较高，要完全...
分类：
其他好文 时间：
2014-11-15 10:08:01
阅读次数：
265
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类：
Windows程序 时间：
2014-11-14 15:42:08
阅读次数：
2971
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类：
其他好文 时间：
2014-11-14 14:15:48
阅读次数：
291
一、Storm中运行的组件
我们知道，Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力，它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是运行在集群中的一个Spout或Bolt实例。
为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件：
...
分类：
其他好文 时间：
2014-11-13 16:35:06
阅读次数：
266
场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索 场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更 久才可以被...
分类：
其他好文 时间：
2014-11-13 14:26:37
阅读次数：
229
Metrics这个单词总是反复查词典，总觉得翻译出来的语义不对。记录一下，reportingdashmetrics意思是上报dash的指标，此处metric可理解为一些指标数据，如ip地址，端口号，连接服务器耗时等。metric还有标准，度量的意思。如路由表下的metric表示可靠性，延迟，带宽等指...
分类：
其他好文 时间：
2014-11-13 14:13:09
阅读次数：
208
目录[-]1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https:...
分类：
其他好文 时间：
2014-11-13 12:27:27
阅读次数：
371
我们在学习数据库的过程中，经常会听到两个概念：数据冗余和数据完整性。数据冗余是指数据库中存在一些重复的数据，数据完整性是指数据库中的数据能够正确反应实际情况，我们说，为了性能着想，数据库中允许有一些数据冗余，但是要保持数据的完整性。数据完整性=可靠性+准确性，这里我们要清楚以下几点：? ...
分类：
数据库 时间：
2014-11-13 09:21:33
阅读次数：
226
