一.trident 的介绍 trident 的英文意思是三叉戟，在这里我的理解是因为之前我们通过之前的学习topology spout bolt 去处理数据是没有问题的，但trident 的对spout bolt 更高层次的一个抽象，其实现功能是一样的，只不过是trident做了更多的优化和封装.如 ...
分类：
其他好文 时间：
2019-06-24 18:18:49
阅读次数：
103
一.stream group分组介绍 Stream 的分组分为随机分组、字段分组、全部分组、全局分组、无分组、直接分组，自定义分组 二.group的介绍 1.Shuffle grouping：通过tuple获取任务到supout,然后再由spout将任务分发到Bolt上。这种分组是随机性的，没有规律 ...
分类：
其他好文 时间：
2019-06-21 18:45:23
阅读次数：
116
以电信通话记录为例 移动呼叫及其持续时间将作为对Apache Storm的输入，Storm将处理和分组在相同呼叫者和接收者之间的呼叫及其呼叫总数。 编程思想： 在storm中，把对数据的处理过程抽象成一个topology，这个topology包含的组件主要是spout、bolt，以及以tuple形式 ...
分类：
其他好文 时间：
2019-06-16 09:24:31
阅读次数：
99
单机本地运行storm报错： 错误如下： 解决方法： 1、确认是否初始化collector 2、确认是否是运行本地而不是集群的启动方式 open方法 * 1、在任务集群的工作进程内被初始化,提供spout执行所需要的环境 * 2、conf参数是这个spout的strom配置,提供给拓扑与这台主机上的 ...
分类：
其他好文 时间：
2019-06-11 22:23:36
阅读次数：
216
案例一：统计网站访问量（实时统计） 实时流式计算框架：storm 1)spout 数据源，接入数据源 本地文件如下 编写spout程序： 2)splitbolt 业务逻辑处理 切分数据 拿到网址 3)bolt 累加次数求和 4)Driver 使用字段分组 运行结果如下： 总共190条数据。统计完成之 ...
分类：
Web程序 时间：
2019-06-07 12:34:28
阅读次数：
117
1、pom文件依赖 2、Topology（拓扑中配置Spout，简单的配置可以不用单独的写KafkaSpout） 本打算用spring kafka的监听器去完成kafka的消费，实现KafkaSpout感觉有点绕，后面再研究，有相关经验的请告知更好的方式 3、Bolt, 负责拓扑请跟根据自己的业务 ...
分类：
其他好文 时间：
2019-04-26 16:42:10
阅读次数：
133
我们知道Storm本身是一个独立运行的分布式流式数据处理框架，Springboot也是一个独立运行的web框架。那么如何在Strom框架中集成Springboot使得我们能够在Storm开发中运用Spring的Ioc容器及其他如SpringJpa等功能呢？我们先来了解以下概念：Storm主要的三个Component：Topology、Spout、Bolt。Topology作为主进程控制着spout
分类：
编程语言 时间：
2018-11-26 00:05:01
阅读次数：
641
一，环境搭建 eclipse的项目的创键和jar包的导入。 二，代码编写 1，组件spout的代码编写，用来发射数据源。 2，bolt组件的代码编写，用来切割字段。 3，bolt组件的代码编写，用来统计字段的数量。 4，编写提交类 5，打成jar包，上传到服务器运行。注意只打主类的class，不要连 ...
分类：
其他好文 时间：
2018-11-03 17:31:09
阅读次数：
158
Strom框架基本概念就不提了，这里主要讲的是`Stream`自定义ID的消息流。默认spout、bolt都需实现接口方法`declareOutputFields`，这种情况下发的消息会被所有定义的bolts接收。我们如果需要根据得到的消息类型来选择不同的bolt，就需要用到Stream Group... ...
分类：
其他好文 时间：
2018-11-02 01:55:46
阅读次数：
205
词频统计 1.需求:读取指定目录的数据,并且实现单词计数功能 2.实现方案: Spout用于读取指定文件夹(目录),读取文件,将文件的每一行发射到Bolt SplitBolt用于接收Spout发射过来的数据,并拆分,发射到CountBolt CountBolt接收SplitBolt发送的每一个单词, ...
分类：
其他好文 时间：
2018-10-31 14:24:38
阅读次数：
247
