几个概念 Topology（拓扑）：Spout、Bolt组成的一个完整的流程结构； Stream Grouping：流分组、数据的分发方式； Spout：直译 水龙头，也就是 消息源 的意思； Bolt：螺栓、处理器。很形象，水从上面的那个“水龙头”流出来，经过第一个螺栓，经过第二个螺栓，经过第三第 ...
分类：
其他好文 时间：
2017-05-20 20:02:17
阅读次数：
258
Storm启动流程分析 1、客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写了一个方法，每个方法都可以生成一条相应的Java命令。 命令格式：java -server xxx.ClassName -args nimbus >Running:/expor ...
分类：
其他好文 时间：
2017-05-20 11:19:19
阅读次数：
176
写在最前：转行大数据领域，没报班，自学试试，能坚持下来以后就好好做这行，不能就……！准备从现有这套it18掌的视屏残本开始……自学是痛苦的，发博客和大家分享下学习成果——也是监督自己，督促自己坚持学下去。 （教学视屏是it18掌做活动送的，视屏不是很全，课堂笔记和源码等课堂相关资料也未放出，但徐培成 ...
分类：
其他好文 时间：
2017-05-20 11:16:11
阅读次数：
168
转自：http://www.fx114.net/qa-81-151600.aspx 一些杂琐的东西，记录一下，以后可能会用得上，另外以后遇到可以记录的可以追加在这里 查找进程内最耗费CPU的线程： jmap导出java进程内存情况并用jhat分析 storm相关进程启动命令： jstorm相关进程启 ...
分类：
系统相关 时间：
2017-05-20 11:08:41
阅读次数：
157
hadoop 是实现了 mapreduce 的思想，将数据切片计算来处理大量的离线数据。 hadoop处理的数据必须是已经存放在 hdfs 上或者类似 hbase 的数据库中。所以 hadoop 实现的时候是通过移动计算到这些存放数据的机器上来提高效率而 storm 不同，storm 是一个流计算框 ...
分类：
其他好文 时间：
2017-05-19 19:35:21
阅读次数：
222
写在最前：转行大数据领域，没报班，自学试试，能坚持下来以后就好好做这行，不能就……！准备从现有这套it18掌的视屏残本开始……自学是痛苦的，发博客和大家分享下学习成果——也是监督自己，督促自己坚持学下去。 （教学视屏是it18掌做活动送的，视屏不是很全，课堂笔记和源码等课堂相关资料也未放出，但徐培成 ...
分类：
其他好文 时间：
2017-05-19 10:16:16
阅读次数：
223
回顾 在上一小节，我们在PWTopology1 这一个java类中注解掉了集群模式，使用本地模式大概了解一下storm的工作流程。这一节我们注解掉本地模式相关的代码，放开集群模式相关代码，并且将项目打包，在实际环境中运行一下。 集群模式部署步骤 项目打包 pom.xml右键 --> run as - ...
分类：
其他好文 时间：
2017-05-19 00:48:57
阅读次数：
141
Storm常用操作命令 1、任务提交命令：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-1.0.3.jar or ...
分类：
其他好文 时间：
2017-05-18 11:33:11
阅读次数：
274
strom hello word 概述 然后卡一下代码怎么实现的： 实际操作 先来看一下代码结构： 就如上图所说，数据从PWSpout流到PrintBolt，最后到WriteBolt写到文件。具体看一下这几个类的代码： 先看一本地模式的： PWTopology1.java 拓扑结构构建 代码分析： ...
分类：
其他好文 时间：
2017-05-18 01:36:09
阅读次数：
373
