博文作者：迦壹博客地址：http://idoall.org/home.php?mod=space&uid=1&do=blog&id=545转载声明：可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明，谢谢合作！-------------------------------------...
分类：
系统相关 时间：
2014-08-05 18:58:49
阅读次数：
445
在全面介绍Storm之前，我们先通过一个简单的Demo让大家整体感受一下什么是Storm。
Storm运行模式：
本地模式(Local Mode)： 即Topology（相当于一个任务，后续会详细讲解） 运行在本地机器的单一JVM上，这个模式主要用来开发、调试。远程模式(Remote Mode):在这个模式，我们把我们的Topology提交到集群，在这个模式中，Storm的所有组件都...
分类：
其他好文 时间：
2014-08-04 18:00:17
阅读次数：
290
一、Storm概述
Storm是一个分布式的、可靠的、零失误的处理流式数据的系统。它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件，而Spout又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理，也有可能传递给下一个Bolt。我们可以把Storm集群想象成一个由bolt组件组成的链条集合，数据在这些链条上传输...
分类：
其他好文 时间：
2014-08-04 10:59:37
阅读次数：
273
Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。
本篇主要讲述如何运行KafkaWordCount，这个需要涉及Kafka集群的搭建，还是说越仔细越好。
分类：
其他好文 时间：
2014-08-02 23:13:04
阅读次数：
267
最近我在做流式实时分布式计算系统的架构设计，而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近一直在做的系统架构的思路整理出来，形成此文。为什么要参考Storm和Spark，因为没有参照效果可能不会太好，尤其是对于Storm和Spark由了解的同学来说，可能通过对比，更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，...
分类：
其他好文 时间：
2014-08-02 18:25:23
阅读次数：
489
大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
风暴前的东京湾 // Tokyo Bay before Storm 上野公园 // Ueno Park
分类：
其他好文 时间：
2014-08-02 01:27:22
阅读次数：
218
openfire 访问 user service 插件 访问不到安照说明文档，我访问创建用户的url 如下http://127.0.0.1:9090/plugins/userservice/userservice?type=add&secret=bigsecret&username=kafka&pa...
分类：
其他好文 时间：
2014-08-01 10:46:01
阅读次数：
152
Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置
单节点：一个broker的集群单节点：多个broker的集群多节点：多broker集群
一、单节点单broker实例的配置
1.首先启动zookeeper服务
Kafka提供了一个简单的zookeeper配置文件来帮助启动zookeeper实例，用下面这个命令即可，首先进入Kafka的安装...
分类：
其他好文 时间：
2014-07-31 20:59:27
阅读次数：
334
官网：http://www.jetbrains.com/webstorm/webStorm，File=》setting=》JavaScript-LibrariesHow WebStorm Works: Completion for JavaScript LibrariesOne of the ess...
分类：
Web程序 时间：
2014-07-31 19:38:27
阅读次数：
680
