kafka自动关闭进程：[2014-11-14 13:04:20,901] INFO [Controller 2]: Controller shutdown complete (kafka.controller.KafkaController)原因：cluster的server.properties...
分类：
其他好文 时间：
2014-11-17 10:20:35
阅读次数：
224
事先配置2台服务器配置好zookeeper，在配置文件中用zookeeper管理集群，配置文件如下配置文件/conf/storm.yamlsupervisor.slots.ports: 对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的...
分类：
其他好文 时间：
2014-11-16 21:28:57
阅读次数：
273
STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每...
分类：
其他好文 时间：
2014-11-16 21:24:49
阅读次数：
223
Storm 0.9.2安装指南0 Storm0.9的亮点引用网上的描述：“Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插拔形式，当前包含两种方式：原来的0mq传输，以及新的netty实现；在早期版本中（0.9.x之前的版本），Storm只支持0mq传输，由于0MQ是一个本地库（native library），对平台的依赖性较高，要完全...
分类：
其他好文 时间：
2014-11-15 10:08:01
阅读次数：
265
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类：
Windows程序 时间：
2014-11-14 15:42:08
阅读次数：
2971
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类：
其他好文 时间：
2014-11-14 14:15:48
阅读次数：
291
一. Kafka中的相关概念的介绍
Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下:
Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成message>对然...
分类：
其他好文 时间：
2014-11-13 22:37:11
阅读次数：
353
一、Storm中运行的组件
我们知道，Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力，它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是运行在集群中的一个Spout或Bolt实例。
为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件：
...
分类：
其他好文 时间：
2014-11-13 16:35:06
阅读次数：
266
场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索 场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更 久才可以被...
分类：
其他好文 时间：
2014-11-13 14:26:37
阅读次数：
229
目录[-]1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https:...
分类：
其他好文 时间：
2014-11-13 12:27:27
阅读次数：
371
