Why use Storm? Apache Storm是一个免费的开源的分布式实时计算系统。Storm使得可靠的实时处理无边界的数据量变得很容易，就如同Hadoop做批处理那样。Storm很简单，可以用任意的编程语言。 Storm有许多使用案例：实时分析、在线机器学习、持续的计算、分布式RPC、ET ...
分类：
其他好文 时间：
2018-01-30 19:39:00
阅读次数：
142
这是Zk 的可视化工具 看到的Storm 目录结构 ，这时候没有提交任何的任务给这个集群， 其实这时候我只是启动了 nimbus 还没有启动Supervisors ，所有你 看懂的Supervisors那个文件夹是灰的， 当我启动了2个Supervisor 之后 ，zk 的Supervisors 文 ...
分类：
其他好文 时间：
2018-01-30 12:53:27
阅读次数：
154
画的丑，勉强看看吧 Nimbus我感觉他就像人的大脑一样！ 当客户端给这个人发送了段信息 ，这个人的大脑就接收到这段信息，这个人不简单，是幕后大佬，一般不自己去干活，都是交给下面二当家去执行，当时这个大佬比较公平，在让下面小弟去干活时候，先去zk 那边看看，每个当家的那里还有多少个可以干活的小弟，不 ...
分类：
其他好文 时间：
2018-01-30 00:15:30
阅读次数：
156
1.上传解压 2.进入到storm的conf目录 接上图 启动三台节点的zookeeper集群 启动和查看 Storm? 在 nimbus.host 所属的机器上启动 nimbus 服务和 logviewer 服务? storm nimbus &? storm logviewer &? 在 nimb ...
分类：
其他好文 时间：
2018-01-27 11:27:17
阅读次数：
116
import requests class Cfda: # 初始化函数 def __init__(self): # 初始化要提交数据的网址 self.url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'... ...
分类：
编程语言 时间：
2018-01-26 22:48:25
阅读次数：
158
前言 storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一个，只需挑选自己选择的阅读即可。 这两者的依赖如下: Storm集群 ：JDK1.8 , Zooke ...
分类：
其他好文 时间：
2018-01-26 22:47:00
阅读次数：
233
一、先说说各种主流浏览器的内核 浏览器最重要或者说核心的部分是“Rendering Engine”，可大概译为“渲染引擎”，不同的浏览器内核对网页编写的解释也不同，反映在网页上的效果也会有所差别。 浏览器 IE firefox chrome safari opera 内核 Trident Gecko ...
分类：
Web程序 时间：
2018-01-26 17:13:09
阅读次数：
194
一、前述 Storm容错机制相比其他的大数据组件做的非常不错。 二、具体原因 结合Storm集群架构图： 我们的程序提交流程如下： 其中各个组件的作用如下： Nimbus资源调度任务分配接收jar包Supervisor接收nimbus分配的任务启动、停止自己管理的worker进程（当前supervi ...
分类：
其他好文 时间：
2018-01-26 00:27:06
阅读次数：
228
一、前述 为了提高Storm的并行能力，通常需要设置并行。 二、具体原理 1. Storm并行分为几个方面： Worker – 进程一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology）这些Worker进程会并行跑在集群中不同的服务器上，即一 ...
分类：
其他好文 时间：
2018-01-25 23:05:27
阅读次数：
190
一、前述 Storm是个实时的、分布式以及具备高容错的计算系统，Storm进程常驻内存 ，Storm数据不经过磁盘，在内存中处理。 二、相关概念 1.异步： 流式处理（异步）客户端提交数据进行结算，并不会等待数据计算结果。 2.同步： 实时请求应答服务（同步）客户端提交数据请求之后，立刻取得计算结果 ...
分类：
其他好文 时间：
2018-01-25 20:43:24
阅读次数：
161
