我们知道Storm本身是一个独立运行的分布式流式数据处理框架,Springboot也是一个独立运行的web框架。那么如何在Strom框架中集成Springboot使得我们能够在Storm开发中运用Spring的Ioc容器及其他如SpringJpa等功能呢?我们先来了解以下概念:Storm主要的三个Component:Topology、Spout、Bolt。Topology作为主进程控制着spout
分类:
编程语言 时间:
2018-11-26 00:05:01
阅读次数:
641
资源链接:https://pan.baidu.com/s/1jQgmgTaaZnGTpGf-5w4gtg国外的书,可以借鉴学习。目录如下:第一学年几何与拓扑:1、JamesR.Munkres,Topology:较新的拓扑学的教材适用于本科高年级或研究生一年级;2、BasicTopologybyArmstrong:本科生拓扑学教材;3、Kelley,GeneralTopology:一般拓扑学的经典教
分类:
其他好文 时间:
2018-11-22 21:41:23
阅读次数:
463
机器学习很多时候是在跟数学打交道,所以看书看论文肯定是必不可少的。下面是自己读过并觉得很有帮助的一些书,希望对大伙有所帮助。(请忽略糟糕的排版,这个排版功能太难用了。。) 拓扑学: Munkres J R. 《Topology》拓扑学就只看了这一本,只能说不愧是大师之作。分析学: Rudin三件套这 ...
分类:
其他好文 时间:
2018-10-08 22:18:48
阅读次数:
277
今天编写一个storm的topology,bolt的逻辑跟之前的类似。 为了减少重复代码,我建了个抽象基类,存放bolt的公共逻辑,设计了几个abstract方法,不同的逻辑部分由子类实现。 基类日志定义如下: Logger是项目封装的,用于ELK的对象,考虑到子类可能用到,我把它的static去掉 ...
分类:
编程语言 时间:
2018-09-27 01:54:47
阅读次数:
205
strom经典图谱:strom基础TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersConfiguration1、Topologies一个topology是spouts和bolts组成的图,通过streamgroupings将图中的spouts和bolts连接起来,如下图:一个topology会一直运行直到你手动ki
分类:
其他好文 时间:
2018-09-14 11:06:27
阅读次数:
102
首先编写一个打印函数KafkaPrintFunction 然后编写trident整合kafka的topology 另一个Java项目发送kafka数据 最后运行storm项目以及java项目(需要先运行java项目往kafka发数据,建立此topic,storm才能消费这个topic) 观察结果,s ...
分类:
其他好文 时间:
2018-09-10 13:30:09
阅读次数:
320
一、storm的并发 (1)Workers(JVMs):在一个物理节点上可以运行一个或多个独立的JVM进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上),所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topolo ...
分类:
其他好文 时间:
2018-08-14 11:40:36
阅读次数:
195
1.hadoop有master与slave,Storm与之对应的节点是什么? 2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的所有协调工作有master来完成 ...
分类:
其他好文 时间:
2018-08-05 14:21:51
阅读次数:
180
1.hadoop有master与slave,Storm与之对应的节点是什么? 2.Storm控制节点上面运行一个后台程序被称之为什么? 3.Supervisor的作用是什么? 4.Topology与Worker之间的关系是什么? 5.Nimbus和Supervisor之间的所有协调工作有master ...
分类:
其他好文 时间:
2018-07-05 19:53:53
阅读次数:
189
CREATE EXTENSION postgis; CREATE EXTENSION pgrouting; CREATE EXTENSION postgis_topology; CREATE EXTENSION fuzzystrmatch; CREATE EXTENSION postgis_tige ...
分类:
数据库 时间:
2018-07-02 20:15:43
阅读次数:
889