第三方 HACMP概念 HACMP概念 Cluster Node Topology Resource Resource group 用于系统保护的一组资源集合 Application server 受Hacmp控制的一组应用的启动和停止脚本 Reintegration 一个发生失败的节点,重新加入c ...
分类:
其他好文 时间:
2017-08-21 00:26:20
阅读次数:
229
一、storm计算框架 :性能优化的第一步就是找到瓶颈在哪里,从瓶颈处入手,解决关键点问题,事半功倍。 除了通过系统命令查看CPU使用,jstack查看堆栈的调用情况以外,还可以通过Storm自身提供的信息来对性能做出相应的判断。 在Storm 的UI中,对运行的topology提供了相应的统计信息 ...
分类:
其他好文 时间:
2017-08-14 16:39:12
阅读次数:
633
In the below network topology a web server behind a router is on private IP address space, and the router performs NAT to forward traffic to its publi ...
分类:
其他好文 时间:
2017-08-01 14:26:47
阅读次数:
745
Scheduler作为Storm的调度器,负责为Topology分配可用资源。 Storm提供了IScheduler接口,用户可以通过实现该接口来自定义Scheduler。 其定义如下: 真正选择哪个调度器来对Topology进行分配的方法是mk-assignments。 mk-assignment ...
分类:
Web程序 时间:
2017-07-28 16:43:29
阅读次数:
297
storm提交任务的过程: 1.客户端通过storm提交topology 2.nimbus主节点创建本地topology任务目录。tmp 3.nimbus监控zookeeper心跳,计算工作量。 4.nimbus向zookeeper分配任务。 5.从节点监控zk的数据,一旦有新任务分配,启动任务to ...
分类:
其他好文 时间:
2017-07-22 23:40:18
阅读次数:
245
Storm的数据从Spout采集后,交给Blot组件处理,数据在Blot之间流动时,会涉及到数据流动的方向。这就是Storm的分组策略。 从WordCount的单词拆分到单词计数,会使用按字段的分组策略来拆分单词,并分配到不同的Count Blot中计算。 ...
分类:
其他好文 时间:
2017-07-22 00:05:30
阅读次数:
197
由之前的学习,Storm的程序构成有Topology,Spout、Blot组成。 构建工程第一步 :引入jar,把storm集群中的/usr/local/apps/apache-storm-1.0.3/lib目录jar包全部引入 ...
分类:
其他好文 时间:
2017-07-22 00:05:05
阅读次数:
208
WordCountTopology数据流分析(storm编程模型) 上一章的example的单词统计在storm的数据流动到底是怎么进行的呢,这一章节开始介绍; ...
分类:
其他好文 时间:
2017-07-21 01:17:44
阅读次数:
177
转自:https://my.oschina.net/zc741520/blog/409949 概念: Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker proc ...
分类:
其他好文 时间:
2017-07-05 13:41:32
阅读次数:
168
worker进程死掉 在一个节点 kill work进程 比方 kill 2509 对work没有影响 由于会在其它节点又一次启动进程运行topology任务 supervisor进程死掉 supervisor进程kill掉 对work进程没有影响 由于他们是互相独立的!。 nimbus进程死掉(存 ...
分类:
其他好文 时间:
2017-06-17 12:07:40
阅读次数:
128