ApacheStorm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（masternode）分发代码，将任务分配给工作节点（workernode）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数..
分类：
其他好文 时间：
2016-11-21 20:38:07
阅读次数：
262
以单词分割计数为例实现Storm的DirectGroup分组： 1、Spout实现 Spout是Storm数据源头，使用DirectGroup方式将Spout数据发送指定的Bolt，需注意： 1)、Spout消费的Bolt的Task(Task应为Storm的Executor的编号)，在如下代码中Sp ...
分类：
其他好文 时间：
2016-10-29 22:19:15
阅读次数：
478
一、Strom基本知识（回顾） 1，首先明确Storm各个组件的作用，包括Nimbus,Supervisor,Spout,Bolt,Task,Worker,Tuple nimbus是整个storm任务的管理者，并不实际进行工作。负责在集群中分发代码，对节点分配任务，并监视主机故障。 supervis ...
分类：
Web程序 时间：
2016-10-19 02:14:46
阅读次数：
356
在Strom/JStorm中有一个类是特别重要的，主要用来构建Topology的，这个类就是TopologyBuilder. 咱先看一下简单的例子: 在上面的main方法里先创建TopologyBuilder对象,然后设置好已创建的Spout节点和Bolt节点，并用随机分组(shuffleGroup ...
分类：
Web程序 时间：
2016-10-16 18:53:02
阅读次数：
275
Storm基本概念 Storm是一个开源的实时计算系统，它提供了一系列的基本元素用于进行计算：Topology、Stream、Spout、Bolt等等。 在Storm中，一个实时应用的计算任务被打包作为Topology发布，这同Hadoop的MapReduce任务相似。但是有一点不同的是：在Hado ...
分类：
其他好文 时间：
2016-10-15 16:22:27
阅读次数：
168
新浪微博：intsmaze刘洋洋哥。 storm框架中的kafkaspout类实现的是BaseRichSpout，它里面已经重写了fail和ack方法，所以我们的bolt必须实现ack机制，就可以保证消息的重新发送；如果不实现ack机制，那么kafkaspout就无法得到消息的处理响应，就会在超时以 ...
分类：
Web程序 时间：
2016-10-10 23:01:24
阅读次数：
424
基础知识 Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。你可 ...
我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ac ...
分类：
其他好文 时间：
2016-09-30 23:22:08
阅读次数：
226
不得不说storm是一个特别棒的实时计算框架。为了对后文理解的方便，先说几个storm中的术语: Topology：拓扑图或者拓扑结构。在storm中它通过消息分组的分式连接Spout和Bolt节点定义了运算处理的拓扑结构。如下图: 那什么是Spout呢？ 在计算任务需要的数据其实就是由Spout提 ...
分类：
其他好文 时间：
2016-08-19 10:02:49
阅读次数：
249
Tasks & executors relation Q1. However I'm a bit confused by the concept of "task". Is a task an running instance of the component(spout or bolt) ? An ...
分类：
其他好文 时间：
2016-07-12 12:13:01
阅读次数：
131
