分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发...
分类：
其他好文 时间：
2015-05-06 14:51:36
阅读次数：
174
在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计...
分类：
其他好文 时间：
2015-05-06 12:37:56
阅读次数：
181
摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。简单和明了，Storm让大数据分析变得轻松加愉快。当...
分类：
其他好文 时间：
2015-05-05 23:41:08
阅读次数：
252
普通Topology
如果建立自己的Topology(非Transactional的)，用户通常需要利用如下接口和对象：
IRichBolt
IRichSpout
TopologyBuilder
public interface ISpout extends Serializable {
void open(Map conf, TopologyContext c...
如何合并小文件，减少map数？
假设一个SQL任务：
Select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04’;
该任务的inputdir/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04
共有194个文件，其中很多是远...
分类：
其他好文 时间：
2015-05-05 16:36:33
阅读次数：
248
一、Trident内核，代表产品Internet Explorer说起Trident，很多人都会感到陌生，但提起IE（Internet Explorer）则无人不知无人不晓，由于其被包含在全世界使用率最高的操作系统Windows中，得到了极高的市场占有率，所以我们又经常称其为IE内核。Triden....
分类：
其他好文 时间：
2015-05-05 16:24:45
阅读次数：
100
1. 修改所有节点的 storm.yaml 配置文件，设置 drpc server? [grid@hadoop6 ~]$ vim storm-0.9.4/conf/storm.yaml
drpc.servers:
- "hadoop4" 2. 启动drcp服务? storm drpc & 3. 编写服务端程序? //来源于...
分类：
其他好文 时间：
2015-05-05 01:25:48
阅读次数：
230
继之前遇到的那个同步问题的坑之后（storm坑之---同步问题），最近对代码又做了调整和重构，并且又遇到了另一个storm开发中应该值得警惕的坑。接下来说说这个坑的大体情况。 在我的storm程序中，Abolt需要将数据封装成一个对象同时发送给Bbolt和Cbolt各一份，Bbolt和Cbol...
分类：
其他好文 时间：
2015-05-04 21:39:46
阅读次数：
150
storm 测试集群上一个supervisor 挂掉，查看日志发现：java.io.FileNotFoundException: File '/home/q/storm/storm-data/supervisor/stormdist/Track_NotFind-66-1372059953/storm...
分类：
其他好文 时间：
2015-05-04 11:28:44
阅读次数：
129
