Although the queues and workers paradigm breaks down for large numbers of messages, message processing is clearly the fundamental paradigm for realtime computation....
分类:
其他好文 时间:
2015-03-05 00:19:33
阅读次数:
175
预备、开火、瞄准……
1 总结与提升
自1月份来,可谓是浮浮荡荡,一波三折呀。
先是参加了公司组织的创意马拉松大赛,虽说24小时内完成了作品,但是自己感觉上效果很差,自然成绩也是不高。通过这24小时持续的奋斗以及后来的各种产品描述等环节,发现了开发上的许多缺点。首先,对我们的产品进行了深入的认识和了解,也在产品之上,发现了更多可以发展走向成功的点子,这是我觉得最棒的一点;其次,短时间...
分类:
其他好文 时间:
2015-03-04 11:04:25
阅读次数:
177
作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版...
分类:
其他好文 时间:
2015-03-03 15:11:59
阅读次数:
269
来自:http://blog.csdn.net/derekjiang/article/details/9040243概念理解原文中用了一张图来说明在一个storm cluster中,topology运行时的并发机制。其实说白了,当一个topology在storm cluster中运行时,它的并发主要...
分类:
其他好文 时间:
2015-03-03 14:51:45
阅读次数:
155
来自:http://isuifengfei.iteye.com/blog/1998265问题1java.net.SocketException: Address family not supported by protocol family: connect查了下http://stackoverfl...
分类:
其他好文 时间:
2015-03-02 20:37:10
阅读次数:
155
Problem当创建和配置SharePoint 2013 Search Service Application成功之后,进入详细配置页后,在Search Application Topology节点下显示如下错误:Unable to retrieve topology component healt...
分类:
其他好文 时间:
2015-02-27 20:06:14
阅读次数:
163
原文地址:http://storm.apache.org/documentation/Distributed-RPC.html 分布式RPC的目的是在storm进行大量的实时计算时,能够并行的调用storm上的函数。Storm topology可以将函数参数作为输入Stream,并且将被调...
分类:
其他好文 时间:
2015-02-25 17:14:39
阅读次数:
148
在这里,将会提到storm的七种grouping策略,并且编码逐一实现。 首先,需要一个集群(希望尽量模仿真实环境,故就不用本地模式了)。详细的安装方法大家可以查看本人的另外一篇博文:storm集群和zookeeper集群的部署过程。 OK。现在有三个节点。一个作为nimbus,两个作...
分类:
其他好文 时间:
2015-02-24 23:20:45
阅读次数:
280
一、Storm中执行的组件 我们知道,Storm的强大之处就是能够非常easy地在集群中横向拓展它的计算能力,它会把整个运算过程切割成多个独立的tasks在集群中进行并行计算。在Storm中,一个task就是执行在集群中的一个Spout或Bolt实例。 为了方便理解Storm怎样并行处理我们分给.....
分类:
其他好文 时间:
2015-02-23 09:36:35
阅读次数:
161
本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节:当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性,以及Nimbus是否存在单点故障问题。...
分类:
其他好文 时间:
2015-02-17 17:40:45
阅读次数:
128