TwitterStorm如何保证消息不丢失发表于2011年09月30日由xumingming作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢...
分类:
其他好文 时间:
2015-06-07 23:23:54
阅读次数:
242
default.yaml文件所在位置:apache-storm-0.9.4.tar.gz/apache-storm-0.9.4/lib/storm-core-0.94.jar/default.yaml文件内容如下:1234567891011121314151617181920212223242526...
分类:
其他好文 时间:
2015-06-07 23:22:22
阅读次数:
946
TwitterStorm:在生产集群上运行topology发表于2011年10月07日由xumingming作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/185/twitter-storm...
分类:
其他好文 时间:
2015-06-07 23:18:31
阅读次数:
151
监控指定文件夹,读取文件(新文件动态读取)里的内容,统计单词的数量。FileSpout.java,监控文件夹,读取新文件内容1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484...
分类:
其他好文 时间:
2015-06-07 23:12:16
阅读次数:
294
1、下载、解压缩2、编辑conf/storm.yaml12345678910111213141516storm.zookeeper.servers:- "vm1"# - "server2"#storm.zookeeper.port: 2181storm.local.dir: "/usr/local/...
分类:
其他好文 时间:
2015-06-07 23:11:37
阅读次数:
180
概念本文列出了Storm的主要概念及相关的信息链接。讨论到的概念有:TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersTopologies实时应用的逻辑被打包成了Storm topology。Storm topolog...
分类:
其他好文 时间:
2015-06-07 23:07:40
阅读次数:
220
1、Storm并行度相关的概念Storm集群有很多节点,按照类型分为nimbus(主节点)、supervisor(从节点),在conf/storm.yaml中配置了一个supervisor有多个槽(supervisor.slots.ports),每个槽就是一个JVM,就是一个worker,在每个wo...
分类:
其他好文 时间:
2015-06-07 23:05:40
阅读次数:
301
默认情况下下,一个executor运行一个component,即一个task,但有时会指定多个task:1builder.setBolt("",newXxBolt()).setNumTasks(2);这是为了rebalance命令。
分类:
其他好文 时间:
2015-06-07 23:04:07
阅读次数:
222
本文是对Heron架构做了一下阅读笔记,讲解Heron在现有的Storm架构上做了哪些优化,这些优化能够解决Storm现在的哪些问题。...
分类:
其他好文 时间:
2015-06-05 19:49:10
阅读次数:
204
roleIPhostnamemaster:192.168.1.147cdh1slave1:192.168.1.142cdh2slave2:192.168.1.143cdh3############################################Installstep#########################1.InstallJDK7wget--no-check-certificate--no-cookies--header"Cookie:oraclelicense=accept-..
分类:
其他好文 时间:
2015-06-03 19:53:33
阅读次数:
120