最近搭建了一个storm环境，发现在提交一个topology之后，supervisor总是会无缘无故的死掉，日志如下 [2000] the maxSleepTimeMs [60000] the maxRetries [5]2016-04-09 16:30:05.719 b.s.event [ERRO ...
分类：
其他好文 时间：
2016-04-09 18:56:51
阅读次数：
270
3. Refer to the exhibit. Whichtwo statements are true about interVLAN routing in the topology that is shownin the exhibit? (Choose two.) A. Host E and ...
分类：
其他好文 时间：
2016-04-06 09:43:47
阅读次数：
303
Storm是一个流计算框架，处理的数据是实时消息队列中的，所以需要我们写好一个topology逻辑放在那，接收进来的数据来处理，所以是通过移动数据平均分配到机器资源来获得高效率。 Storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以Storm的速度相比较Hadoop非常快（瓶颈是内 ...
分类：
其他好文 时间：
2016-03-30 16:26:46
阅读次数：
123
4.连接postgresql与postgis(赋予postgresql空间数据库的能力) $ CREATE EXTENSION postgis;(注意是否是在自己想要数据库下创建）CREATE EXTENSION$ CREATE EXTENSION postgis_topology;（支持拓扑）CR ...
分类：
数据库 时间：
2016-03-26 23:49:43
阅读次数：
640
客户端提交Topology代码到Nimbus。Nimbus针对该Topology建立本地的目录，Nimbus中的调度器根据Topology的配置计算Task，并把Task分配到不同的Worker上，调度的结果写入Zookeeper中。Zookeeper上创建assignments节点，存储Task和
分类：
其他好文 时间：
2016-03-19 12:56:27
阅读次数：
179
storm集群中的一台机器可能运行着一个或者多个worker进程，其从属于一个或者多个topology。一个worker进程运行着多个executor线程；每一个worker从属于一个topology；executor是单线程，每一个executor运行着相同组件(spout或者bolt)的1个或者
分类：
其他好文 时间：
2016-03-18 17:51:15
阅读次数：
194
Topology Manager主要用来管理下面5类任务，并将信息存储在主资料库中，供所有模块共享使用。 物理体系结构： 定义各种技术及其数据服务器、物理架构、物理代理。数据服务器瞎可以建立多个物理方案，每个物理方案的实质就是schema。 逻辑体系结构： 定义各种技术及其关联的逻辑架构、逻辑代理。
分类：
数据库 时间：
2016-03-17 21:36:56
阅读次数：
431
一、步骤1、定义topology，若用java语言，使用TopologyBuilder来定义2、使用StormSubmitter来提交topology到集群中，所需参数需要topology名字，topology的参数配置，topology本身例：Configconf=newConfig();conf.setNumWorkers(20);conf.setMaxSpoutPending(5000);StormSubmi..
分类：
其他好文 时间：
2016-03-15 00:54:18
阅读次数：
493
Assignment篇 回到storm-task-info， (defn storm-task-info "Returns map from task -> component id" [^StormTopology user-topology storm-conf] ;; 添加acker，metr
分类：
其他好文 时间：
2016-03-12 13:13:24
阅读次数：
179
storm的并发机制 storm计算支持在多台机器上水平扩容，通过将计算切分为多个独立的tasks在集群上并发执行来实现。 一个task可以简单地理解：在集群某节点上运行的一个spout或者bolt实例。 topology的组成部分：Nodes(服务器):配置在一个storm集群中的服务器，会执行t
分类：
其他好文 时间：
2016-03-09 20:41:04
阅读次数：
164
