一、Storm中执行的组件 我们知道，Storm的强大之处就是能够非常easy地在集群中横向拓展它的计算能力，它会把整个运算过程切割成多个独立的tasks在集群中进行并行计算。在Storm中，一个task就是执行在集群中的一个Spout或Bolt实例。 为了方便理解Storm怎样并行处理我们分给.....
分类：
其他好文 时间：
2015-02-23 09:36:35
阅读次数：
161
storm-hdfs 这个插件支持 Rotation Actions 这个功能，官方文档解释是这样的，
### File Rotation Actions
Both the HDFS bolt and Trident State implementation allow you to register any number of `RotationAction`s.
What...
分类：
其他好文 时间：
2015-02-14 11:02:20
阅读次数：
185
1,DRPC原理
客户端给DRPC服务器发送要执行的方法的名字，以及这个方法的参数。实现了这个函数的topology使用DRPCSpout从DRPC服务器接收函 数调用流。每个函数调用被DRPC服务器标记了一个唯一的id。 这个topology然后计算结果，在topology的最后一个叫做ReturnResults的bolt会连接到DRPC服务器，并且把这个调用的结
果发送给DRPC...
分类：
其他好文 时间：
2015-01-21 08:58:57
阅读次数：
134
一个topology包含一或多个spout bolt，spout负责在数据源获得数据并发送给bolt，每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的，该组件会记录包含哪些spout bolt，并做相应验证：各组件是否有id冲突,校验方法如下：
private void validateUnusedId(String id) {
...
分类：
Web程序 时间：
2015-01-16 16:47:39
阅读次数：
335
配置nginx.confvimnginx.conf
location/{
root/www/fabric-bolt/lib/python2.7/site-packages/fabric_bolt;
includeuwsgi_params;
uwsgi_pass192.168.1.121:9001;
uwsgi_paramUWSGI_CHDIR/www/fabric-bolt/lib/python2.7/site-packages/fabric_bolt;
uwsgi_paramUWSGI_SCRIPTws..
分类：
其他好文 时间：
2015-01-09 12:45:14
阅读次数：
199
因为在工作中基于迅雷Bolt开发的是IM产品，需要实现自定义用户头像的功能。但Bolt中对图像的默认拉伸锯齿效果非常明显，所以自己实现了图像拉伸函数，代码已共享，具体可查看：《迅雷Bolt图像拉伸不清晰的解决办法》。不过在这个函数的使用中，遇到了使用ClipSubBindBitmap裁切后再拉伸，图...
分类：
数据库 时间：
2014-12-19 21:53:41
阅读次数：
177
迅雷Bolt库中的图像拉伸的效果锯齿比较严重，常见的导致锯齿的情况：1、在使用ImageObject时，drawmode为1拉伸模式下；2、使用Bitmap类的Stretch函数拉伸图像；虽然ImageObject有antialias属性支持反走样，不过设置后没有特别明显的优化效果。解决锯齿的办法就...
分类：
其他好文 时间：
2014-12-19 18:38:51
阅读次数：
208
Storm有 7 种类型的stream分组： 1.Shuffle Grouping: 随机分组， 随机派发stream 里面的 tuple，保证每个 bolt 接收到的 tuple 数目大致相同。 2.Fields Grouping： 按字段分组，比如...
分类：
其他好文 时间：
2014-11-24 14:58:39
阅读次数：
210
数据流分流和合并数据流经常需要分流与合并操作，如下图所示：分流分流有2钟情况，第一种是，相同的tuple发往下一级不同的bolt， 第二种，分别发送不同的tuple到不同的下级bolt上。发送相同tuple其实和普通1v1 发送一模一样，就是有2个或多个bolt接收同一个spout或bolt的数据 ...
分类：
其他好文 时间：
2014-11-23 22:59:44
阅读次数：
4962
Topology是Jstorm对有向无环图的抽象，内部封装了数据来源spout和数据处理单元bolt，以及spout和bolt、bolt和bolt之间的关系，它可以被提交到Jstorm集群。
本文以Jstorm自带的SequenceTopology简单介绍一下Jstorm提交topology的过程，本文主要介绍提交过程，不涉及具体业务，
1、 SequenceTopology核心方法c...
分类：
Web程序 时间：
2014-11-19 01:46:37
阅读次数：
273
