定义返回数据字段名 上一篇中，最后访问http://localhost:8000/users?id=1 返回结果 这里首写字母一般需要改为小写，修改User结构体 // 用户实体 type User struct { // 主键 Login string // 用户登录名 Username stri ...
分类：
其他好文 时间：
2018-09-22 15:58:03
阅读次数：
129
需求：读取指定目录的数据，并实现单词计数的功能 实现方案： Spout来读取指定目录的数据，作为后续Bolt处理的input 使用一个Bolt把input 的数据，切割分开，我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计：DataSourceSpout ==>Spi ...
分类：
其他好文 时间：
2018-07-28 20:36:43
阅读次数：
276
现象：STORM UI中发现bolt中有failed，异常日志抛异常read time out 业务场景：storm读写redis。 查看redis日志发现，正常情况下 每隔2小时都会有超时的异常抛出来，抛出异常的 redis机器有多台。 分析慢日志： 1、看命令数和value大小：找到其中一台re ...
分类：
其他好文 时间：
2018-06-17 17:48:51
阅读次数：
148
1.错误日志 2.出现这个问题的原因 下游Bolt未定义数据流错误 在下游Bolt接收数据时，往往会忽略具体的接收数据流名称，例如 builder.setBolt(devInter, new InterBolt().shuffleGrouping(dev); 3.分析本日志 可以看到在webLogP ...
分类：
其他好文 时间：
2018-06-07 21:48:07
阅读次数：
1123
任务级容错 Bolt任务crash引起的消息未被应答。此时，acker中所有与此Bolt任务关联的消息都会因为超时而失败，对应的Spout的fail方法将被调用。 acker任务失败。如果acker任务本身失败了，它在失败之前持有的所有消息都将超时而失败。Spout的fail方法将被调用。 Spou ...
分类：
其他好文 时间：
2018-05-28 14:54:01
阅读次数：
180
进到一个topology的页面， 里面有整体的stat， spout的情况 bolt的情况 其中b 0，负责的是数据持久化，如果这个有fail，那么会导致数据处理延迟 其他有少量fail，是没什么关系的 那如何查找某个具体是哪个spout和bolt，哪台机器，什么错？ 比如b 0有fail 那么点击 ...
分类：
其他好文 时间：
2018-05-27 23:40:55
阅读次数：
185
角色Clientclient的主要作用是提交topology到集群WorkerWorker是运行在Supervisor节点上的一个独立的JVM进程，主要作用是运行topology，一个topology可以包含多个worker，但一个worker只能属于一个topologyExceutor在Worker中运行的线程，一个Executor可以对应一个或多个Task，每个Task（Spout或Bolt）
分类：
其他好文 时间：
2018-05-08 17:39:35
阅读次数：
133
前言 SOFA 包含了 RPC 框架，底层通信框架是 bolt ，基于 Netty 4，今天将通过 SOFA—RPC 源码中的例子，看看他是如何发布一个服务的。 示例代码 下面的代码在 类下。 首先，创建一个 ServerConfig ，包含了端口，协议等基础信息，当然，这些都是手动设定的，在该类加 ...
分类：
其他好文 时间：
2018-05-01 00:31:21
阅读次数：
2815
1、Spark Streaming是什么？ 2、Spark与Storm的对比 a、Spark开发语言：Scala、Storm的开发语言：Clojure。 b、Spark编程模型：DStream、Storm编程模型：Spout/Bolt。 c、Spark和Storm的对比介绍： Spark: Stor ...
分类：
数据库 时间：
2018-04-23 18:50:23
阅读次数：
252
一、Apache Storm Storm是一个分布式的，可靠的，容错的数据流处理系统。Storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。一个Storm集群就是在一连串的bolt之间转换spout ...
分类：
Web程序 时间：
2018-04-11 15:55:21
阅读次数：
192
