1. 问题 今天为storm程序添加了一个计算bolt，上线后正常，结果发现之前的另一个bolt在将中文插入到hbase中后查询出来乱码。其中字符串是以UTF-8编码的url加密串，然后我使用的URLDecoder.decode(str, "UTF-8")解码，最后插入到hbase中。2. 排查（....
分类：
其他好文 时间：
2015-06-03 13:10:56
阅读次数：
166
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型（CPU
intensive）的计算任务。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。
DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语stream、spout、bolt、 topology而成的一种模式(pat...
分类：
其他好文 时间：
2015-05-27 19:13:47
阅读次数：
152
流分组在设计一个topology的时候，你需要做的最重要的事情是定义数据在组件之间怎样交换(流怎样被bolts消费)。流分组指定了每个bolt消费哪些流和这些流被怎样消费。一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。正如我们在第二章看到的，当topology被定义的..
分类：
其他好文 时间：
2015-05-25 20:36:05
阅读次数：
135
流分组
在设计一个topology的时候，你需要做的最重要的事情是定义数据在组件之间怎样交换(流怎样被bolts消费)。流分组指定了每个bolt消费哪些流和这些流被怎样消费。
一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。
正如我们在第二章看到的，当topology被定义的时候流分组就被设置好了：
...
builder.setBolt("word-normal...
分类：
其他好文 时间：
2015-05-25 18:46:40
阅读次数：
151
流分组在设计一个topology的时候，你需要做的最重要的事情是定义数据在组件之间怎样交换(流怎样被bolts消费)。流分组指定了每个bolt消费哪些流和这些流被怎样消费。一个结点可以发射不止一条数据流。流分组允许我们选择接收哪些流。正如我们在第二章看到的，当topology被定义的时候流分组就被设...
分类：
其他好文 时间：
2015-05-25 18:35:17
阅读次数：
121
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolttasktask是storm中进行计算的最小的运行单位，表示是spout或者bolt的运行实例..
分类：
其他好文 时间：
2015-05-22 19:35:56
阅读次数：
121
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt tasktask是storm中进行计算的最小的运行单位，...
分类：
其他好文 时间：
2015-05-22 16:42:33
阅读次数：
175
Storm的并行度详解
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。
那strom是如何提高并行度的呢？
Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt
task
task 是storm中进行计算的最小的运行单位，表示是spout或者b...
分类：
其他好文 时间：
2015-05-22 15:15:47
阅读次数：
116
Nimbus: 负责资源分配和任务调度，把任务相关的元信息写入Zookeeper相应目录中。
Supervlsor: 负责接收Nimbus分配的任务，启动和停止属于自己管理的worker进程。
Worker: 运行具体处理组件逻辑的线程。
Executor: 运行Splout/bolt的线程。
Task： worker中每一个spout/bolt的线程称为一个task.
Topolo...
分类：
其他好文 时间：
2015-05-22 11:32:02
阅读次数：
184
用 Bolt 实现了一个表格控件：1. 提供 Insert,Remove,Get,Set 接口，可以为表格增删数据；2. 通过 ItemClass, ItemSetDataFunc 属性来指定显示数据所用的 itemObj；3. 不会每个 data 都创建 itemObj 来显示， 只为需要显示的数...
分类：
其他好文 时间：
2015-05-18 12:21:42
阅读次数：
132
