1、pom文件依赖 2、Topology（拓扑中配置Spout，简单的配置可以不用单独的写KafkaSpout） 本打算用spring kafka的监听器去完成kafka的消费，实现KafkaSpout感觉有点绕，后面再研究，有相关经验的请告知更好的方式 3、Bolt, 负责拓扑请跟根据自己的业务 ...
分类：
其他好文 时间：
2019-04-26 16:42:10
阅读次数：
133
项目json代码片段 gun.json文件代码： { "Gun_class":[ "栓动式狙击枪", "射手步枪", "突击步枪", "冲锋枪" ], "Bolt-on-sniper-rifle":[ { "name":"AWM", "box_magazine":"10", "bullet":".3 ...
分类：
Web程序 时间：
2018-12-26 22:23:58
阅读次数：
265
项目json代码片段 gun.json文件代码： { "Gun_class":[ "栓动式狙击枪", "射手步枪", "突击步枪", "冲锋枪" ], "Bolt-on-sniper-rifle":[ { "name":"AWM", "box_magazine":"10", "bullet":".3 ...
分类：
Web程序 时间：
2018-12-13 21:45:09
阅读次数：
213
我们知道Storm本身是一个独立运行的分布式流式数据处理框架，Springboot也是一个独立运行的web框架。那么如何在Strom框架中集成Springboot使得我们能够在Storm开发中运用Spring的Ioc容器及其他如SpringJpa等功能呢？我们先来了解以下概念：Storm主要的三个Component：Topology、Spout、Bolt。Topology作为主进程控制着spout
分类：
编程语言 时间：
2018-11-26 00:05:01
阅读次数：
641
一，环境搭建 eclipse的项目的创键和jar包的导入。 二，代码编写 1，组件spout的代码编写，用来发射数据源。 2，bolt组件的代码编写，用来切割字段。 3，bolt组件的代码编写，用来统计字段的数量。 4，编写提交类 5，打成jar包，上传到服务器运行。注意只打主类的class，不要连 ...
分类：
其他好文 时间：
2018-11-03 17:31:09
阅读次数：
158
Strom框架基本概念就不提了，这里主要讲的是`Stream`自定义ID的消息流。默认spout、bolt都需实现接口方法`declareOutputFields`，这种情况下发的消息会被所有定义的bolts接收。我们如果需要根据得到的消息类型来选择不同的bolt，就需要用到Stream Group... ...
分类：
其他好文 时间：
2018-11-02 01:55:46
阅读次数：
205
词频统计 1.需求:读取指定目录的数据,并且实现单词计数功能 2.实现方案: Spout用于读取指定文件夹(目录),读取文件,将文件的每一行发射到Bolt SplitBolt用于接收Spout发射过来的数据,并拆分,发射到CountBolt CountBolt接收SplitBolt发送的每一个单词, ...
分类：
其他好文 时间：
2018-10-31 14:24:38
阅读次数：
247
1.Bolt的安装和配置 导入插件后可以看到 设置命名方式,左侧：普通人，右侧: 程序员 设置变量类型（可以手动添加自己自定义的类型） 然后点击生成，等待bolt编译生成。 2.创建一个流程并使用 如图: 为物体添加bolt并将我们创建的流程 打开属性面板和变量面板 创建一下节点，在update中不 ...
分类：
编程语言 时间：
2018-10-27 00:14:11
阅读次数：
866
在之前的版本上修改，实现命令添加data（记账信息）block.gopackagemainimport("time""bytes""encoding/gob")//定义块结构typeBlockstruct{Versionint64PrevBlockHash[]byteHash[]byteTimeStampint64TargetBitsint64Nonceint64MerKelRoot[]byteD
分类：
数据库 时间：
2018-10-25 19:42:28
阅读次数：
163
今天编写一个storm的topology，bolt的逻辑跟之前的类似。 为了减少重复代码，我建了个抽象基类，存放bolt的公共逻辑，设计了几个abstract方法，不同的逻辑部分由子类实现。 基类日志定义如下： Logger是项目封装的，用于ELK的对象，考虑到子类可能用到，我把它的static去掉 ...
分类：
编程语言 时间：
2018-09-27 01:54:47
阅读次数：
205
