几个概念 Topology（拓扑）：Spout、Bolt组成的一个完整的流程结构； Stream Grouping：流分组、数据的分发方式； Spout：直译 水龙头，也就是 消息源 的意思； Bolt：螺栓、处理器。很形象，水从上面的那个“水龙头”流出来，经过第一个螺栓，经过第二个螺栓，经过第三第 ...
分类：
其他好文 时间：
2017-05-20 20:02:17
阅读次数：
258
在编写storm代码来进行实时分析的时候遇到了一些问题，有些的确令人比较头痛，现在稍微做一下整理。数据流向（本地-Spout-Bolt-Hdfs） 1数据的输入输出文件的路径选择 因为在此项目中数据是放在本地磁盘的，所有就有两种放数据的途径，一种是直接通过spout接受本地数据发送到任务中，另一种是 ...
分类：
其他好文 时间：
2017-05-16 23:27:53
阅读次数：
307
上一篇随笔中我介绍了Storm中的几个重要概念：Topology,tuple,Spout和Bolt。这几个核心概念是与Storm运算相关的，由于上节课关于单词计数的实例实在单机环境下通过核心包（storm-core-0.10.2.jar）模拟集群环境的，所以实际上并没有涉及到Storm集群的相关知识 ...
分类：
其他好文 时间：
2017-05-08 01:20:50
阅读次数：
304
一 可靠性简单介绍 Storm的可靠性是指Storm会告知用户每个消息单元是否在一个指定的时间(timeout)内被全然处理。全然处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的全部Tuple都经过了Topology中每个应该到达的Bolt的处理。 注: timetout ...
分类：
其他好文 时间：
2017-04-30 10:59:34
阅读次数：
261
一、任务执行及通信的单元 Storm中关于任务执行及通信的三个概念：Worker（进程）、Executor（线程）和Task（Spout、Bolt） 1、 一个worker进程执行的是一个Topology的子集（不会出现一个worker进程为多个Topology服务），一个worker进程会启动一个 ...
分类：
其他好文 时间：
2017-04-29 14:23:43
阅读次数：
176
Storm是一个分布式的，可靠的，容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt， bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。你可以想象一下 ...
分类：
其他好文 时间：
2017-04-27 21:04:37
阅读次数：
105
【【【storm】】】一、ApacheStorm简介Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换sp..
分类：
Web程序 时间：
2017-04-22 22:54:17
阅读次数：
239
Nimbus ：负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 对应文件夹。 Supervisor ：负责接受nimbus 分配的任务，启动和停止属于自己管理的worker 进程。 Worker ：执行详细处理组件逻辑的进程。 Executor ：执行spout/bolt 的线程 ...
分类：
其他好文 时间：
2017-04-14 15:45:54
阅读次数：
162
软件基本介绍 Bolt是一个实时裁剪压缩图片服务器，其比nginx的image_filter快2倍以上，主要是因为Bolt对一张图片只做一次处理，就算在处理图片的过程中，其他的客户端也在请求此图片，Bolt也能保证只有一个线程在处理此图片。 另外Bolt替换缓存机制，处理过的图片不再进行第二次处理， ...
分类：
其他好文 时间：
2017-02-12 20:58:11
阅读次数：
171
storm stream计算.实时性。 master/slavenimbus //mastersupervisor //work node //zk spout //龙头,源源不断产生数据 nextTuple() bolt //接头. tuple //List<> storm.yaml zkserv ...
分类：
其他好文 时间：
2017-02-10 21:56:52
阅读次数：
327
