原文链接什么是SparkApache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，...
分类：
其他好文 时间：
2015-06-09 19:39:32
阅读次数：
130
function getBrowser(){ var userAgent = navigator.userAgent, rMsie = /(msie\s|trident.*rv:)([\w.]+)/, rFirefox = /(firefox)\/([\w.]+)/, rChro...
分类：
其他好文 时间：
2015-06-09 19:19:46
阅读次数：
141
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。2. 字段分组（Fields group...
分类：
其他好文 时间：
2015-06-09 19:11:06
阅读次数：
141
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：
1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。
2. 字段分组（Fields grouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“u...
分类：
其他好文 时间：
2015-06-09 17:18:08
阅读次数：
98
Storm风暴和Spark Streaming都是分布式流处理的开源框架。区别如下：
1、处理延时和吞吐量
Storm处理的是每次传入的一个事件，Spark Streaming是处理某个时间段窗口内的事件流，Storm处理一个事件可以达到秒内的延迟，而Spark Streaming则有几秒钟的延迟。因此，Spark Streaming比Storm的延时更长，但是吞吐量比Storm大。
...
分类：
其他好文 时间：
2015-06-08 23:25:42
阅读次数：
188
分析Storm-zookeeper节点
---dxwang
应用libra_pagevilewII_1420544958729(storm)在zookeeper上面节点，如下图：
节点workerbeats
描述：
每个topo对应各自worker心跳的详细信息。
每个worker心跳的详细信息：
心跳内容大概在22K(22942b)，会根据...
分类：
其他好文 时间：
2015-06-08 17:21:45
阅读次数：
142
前言
一般人对于zookeeper的绝大多数印象就是他是用来做协调服务的，不管说是Hadoop，HBase，Storm等等这些计算平台，都或多或少用到了这个zookeeper"动物管理员"。使用的方法都很简单，首先搭建一个zookeeper集群，然后在配置文件中指定一下ip:host，然后就可以用了，但是很少有人会问，zookeeper是如何进行工作的，他是如何为其他节点进行服务的呢。
2PC...
分类：
其他好文 时间：
2015-06-08 09:53:59
阅读次数：
102
TwitterStorm如何保证消息不丢失发表于2011年09月30日由xumingming作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢...
分类：
其他好文 时间：
2015-06-07 23:23:54
阅读次数：
242
default.yaml文件所在位置：apache-storm-0.9.4.tar.gz/apache-storm-0.9.4/lib/storm-core-0.94.jar/default.yaml文件内容如下：1234567891011121314151617181920212223242526...
分类：
其他好文 时间：
2015-06-07 23:22:22
阅读次数：
946
TwitterStorm:在生产集群上运行topology发表于2011年10月07日由xumingming作者:xumingming|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://xumingming.sinaapp.com/185/twitter-storm...
分类：
其他好文 时间：
2015-06-07 23:18:31
阅读次数：
151
