官方的解释这个类为:/** * A simple, durable, atomic K/V database. *Very inefficient*, should only be * used for occasional reads/writes. Every read/write hits d...
分类:
其他好文 时间:
2014-08-05 22:23:00
阅读次数:
321
博文作者:迦壹博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=545转载声明:可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明,谢谢合作!-------------------------------------...
分类:
系统相关 时间:
2014-08-05 18:58:49
阅读次数:
445
集群技术是目前非常流行的提高系统服务能力与高可靠性( HA- High Availability )的手段,通过把多个独立的服务器组成一个集群可以实现失效无缝转移。也就是说当有某一台集群中的服务器当机后,其上的用户状态数据可以无缝迁移到集群中 的其他服务器上。这样,正在使用应用的客户可以完全感觉.....
分类:
其他好文 时间:
2014-08-05 18:27:49
阅读次数:
313
1.5.2 从简单到实用
启动新项目,开头通常不知道到结束时代码会是什么样子,在这个阶段,代码演变很迅速。但随着项目逐渐成熟,架构更加固定,我们更关心的是解决方案的可靠性,而不是灵活性。有趣的是,这些要求并不会反映在我们所使用的编程语言和工具中;而 F# 在工具和语言两方面都很好地体现这些要求,单从这点来看,F# 就有吸引力。
F# 开发过程简介
使用F# 交互式工具,用户...
分类:
其他好文 时间:
2014-08-05 14:18:09
阅读次数:
174
在全面介绍Storm之前,我们先通过一个简单的Demo让大家整体感受一下什么是Storm。
Storm运行模式:
本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个模式中,Storm的所有组件都...
分类:
其他好文 时间:
2014-08-04 18:00:17
阅读次数:
290
一、Storm概述
Storm是一个分布式的、可靠的、零失误的处理流式数据的系统。它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件,而Spout又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理,也有可能传递给下一个Bolt。我们可以把Storm集群想象成一个由bolt组件组成的链条集合,数据在这些链条上传输...
分类:
其他好文 时间:
2014-08-04 10:59:37
阅读次数:
273
SSL是SecureSocketsLayer(安全套接层协议)的缩写,可以在Internet上提供秘密性传输。网景Netscape公司在推出第一个Web浏览器的同时,提出了SSL协议标准。其目标是保证两个应用间通信的保密性和可靠性,可在服务器端和用户端同时实现支持。已经成为Internet上保密通讯的工业标..
分类:
其他好文 时间:
2014-08-03 15:26:06
阅读次数:
223
最近我在做流式实时分布式计算系统的架构设计,而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间的消息传递,存储模型,...
分类:
其他好文 时间:
2014-08-02 18:25:23
阅读次数:
489
大数据分析技术MR :离线计算框架Storm :实时计算框架Spark :内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类:
其他好文 时间:
2014-08-02 09:57:33
阅读次数:
285
风暴前的东京湾 // Tokyo Bay before Storm 上野公园 // Ueno Park
分类:
其他好文 时间:
2014-08-02 01:27:22
阅读次数:
218