Storm中Spout使用注意事项小结 https://www.cnblogs.com/panfeng412/p/storm-spout-common-issues.htmlstorm spout的速度抑制问题 https://www.cnblogs.com/dongxiao-yang/p/6031 ...
分类：
其他好文 时间：
2018-08-14 11:20:49
阅读次数：
130
需求：读取指定目录的数据，并实现单词计数的功能 实现方案： Spout来读取指定目录的数据，作为后续Bolt处理的input 使用一个Bolt把input 的数据，切割分开，我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计：DataSourceSpout ==>Spi ...
分类：
其他好文 时间：
2018-07-28 20:36:43
阅读次数：
276
1.使用的类 2.使用HBaseMapState 3.使用状态管理 使用的状态管理还要看Spout StateFactory factory1 = HBaseMapState.opaque(opts1); 4.服务 需要Kafka，zookeeper 然后Hbase，前提需要Hadoop 5.主驱动 ...
分类：
其他好文 时间：
2018-06-11 23:35:42
阅读次数：
305
消息的可靠处理机制 Storm内部通过一种巧妙的异或算法判读每个tuple是否被正确完整的处理。 Spout的一个Task创建一个Tuple时，即在Spout的nextTuple()方法中实现从特定数据源读取数据的处理逻辑中，会与Acker进行通信，向Acker发送消息，Acker保存该Tuple对 ...
分类：
其他好文 时间：
2018-05-28 15:04:05
阅读次数：
167
conf.setNumWorkers(2); // 该Topology运行在Supervisor节点的2个Worker进程中 topologyBuilder.setSpout("blue spout", new BlueSpout(), 2); // 设置并行度为2，则Task个数为2 1 topo ...
分类：
其他好文 时间：
2018-05-28 15:02:55
阅读次数：
171
任务级容错 Bolt任务crash引起的消息未被应答。此时，acker中所有与此Bolt任务关联的消息都会因为超时而失败，对应的Spout的fail方法将被调用。 acker任务失败。如果acker任务本身失败了，它在失败之前持有的所有消息都将超时而失败。Spout的fail方法将被调用。 Spou ...
分类：
其他好文 时间：
2018-05-28 14:54:01
阅读次数：
180
进到一个topology的页面， 里面有整体的stat， spout的情况 bolt的情况 其中b 0，负责的是数据持久化，如果这个有fail，那么会导致数据处理延迟 其他有少量fail，是没什么关系的 那如何查找某个具体是哪个spout和bolt，哪台机器，什么错？ 比如b 0有fail 那么点击 ...
分类：
其他好文 时间：
2018-05-27 23:40:55
阅读次数：
185
首先spout有三种：这些关系到相同的batchid里面是否包含相同的tuple 事务性：相同 模糊事务性：如果取不到原来的，则拿新的 无事务：不一定 所以只有事务性才能做到一个tuple唯一一次处理 模糊事务性 才能做到 最多处理一次 而无事务，则可能处理多次 ———————— 而在State这里 ...
分类：
其他好文 时间：
2018-05-27 00:59:15
阅读次数：
241
问题现象： storm代码依赖4个源数据topic,2018.5.12上午8点左右开始收到告警短信，源头的4个topic数据严重堆积。 排查： 1、查看stormUI， storm拓扑结构如下： 看现象： a、storm代码2月份上线，已经平稳运行3个月，没有任何代码改动； b、四个spout发出消 ...
分类：
其他好文 时间：
2018-05-14 13:15:45
阅读次数：
201
角色Clientclient的主要作用是提交topology到集群WorkerWorker是运行在Supervisor节点上的一个独立的JVM进程，主要作用是运行topology，一个topology可以包含多个worker，但一个worker只能属于一个topologyExceutor在Worker中运行的线程，一个Executor可以对应一个或多个Task，每个Task（Spout或Bolt）
分类：
其他好文 时间：
2018-05-08 17:39:35
阅读次数：
133
