一 可靠性简单介绍 Storm的可靠性是指Storm会告知用户每个消息单元是否在一个指定的时间(timeout)内被全然处理。全然处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的全部Tuple都经过了Topology中每个应该到达的Bolt的处理。 注: timetout ...
分类:
其他好文 时间:
2017-04-30 10:59:34
阅读次数:
261
一、任务执行及通信的单元 Storm中关于任务执行及通信的三个概念:Worker(进程)、Executor(线程)和Task(Spout、Bolt) 1、 一个worker进程执行的是一个Topology的子集(不会出现一个worker进程为多个Topology服务),一个worker进程会启动一个 ...
分类:
其他好文 时间:
2017-04-29 14:23:43
阅读次数:
176
新建了一个ubuntu虚拟机开发环境,在ubuntu机器上实现了远程提交topology,但还是无法解决topology本地模式运行的问题, 在windows上也实现了远程提交topology,也是无法解决topology本地模式运行的问题, 要实现远程提交topology,首先要在本地机器安装st ...
分类:
其他好文 时间:
2017-04-22 00:20:39
阅读次数:
214
测试storm-starter里的TridentWordCount,测试storm-kafka模块,单独建立工程, 注意log4j-slf4j-impl-2.1引起的依赖冲突,之前运行报错都是因为在storm安装包的lib库里已经有这个jar包了, 编译topology的时候又有其他依赖于这个jar ...
分类:
其他好文 时间:
2017-04-12 23:38:20
阅读次数:
221
http://fishcried.com/2015-01-09/cpu_topology/ http://kodango.com/cpu-topology http://www.udpwork.com/item/8801.html https://diego.assencio.com/?index= ...
分类:
其他好文 时间:
2017-03-12 23:03:03
阅读次数:
169
1.topology 一个topolgy是spouts和bolts组成的图,通过stream groupings将图中的spout和bolts连接起来:如图所示: 一个topology会一直运行知道你手动kill掉,Storm自动重新分配执行失败的任务,并且Storm可以保证你不会有数据丢失(如果开 ...
分类:
其他好文 时间:
2017-03-09 16:55:11
阅读次数:
207
1.项目的整体框架 2.Topology的设计 ...
分类:
其他好文 时间:
2017-01-30 17:02:08
阅读次数:
164
拓扑TopologyCAM表内存可寻址表,MAC地址和发包接口动态macagingtime100sFSC帧校验序列MD5校验UnicastMulticastBroadcast三层地址255.255.255.255二层地址FF.FF.FF.FF局域网四个冲突域一个广播域广域网Bandwidth带宽Duplex双工模式三层交换机已经可识别ip网段即是广播域两个广..
分类:
其他好文 时间:
2017-01-23 15:55:09
阅读次数:
299
参考【并发编程网】的Storm官方教程翻译以WordCountToPology为例: // 构造Topology
TopologyBuilder builder = new Topol...
分类:
其他好文 时间:
2016-12-28 15:17:09
阅读次数:
176
An extension of GeoJSON that encodes topology! TopoJSON https://github.com/topojson/topojson The TopoJSON Format Specification https://github.com/topo ...
分类:
Web程序 时间:
2016-12-14 11:38:15
阅读次数:
247