Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和mapreduce的离线计算框架对比理解）。 整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。Storm集群的输入流是一个叫...
分类：
其他好文 时间：
2014-09-23 13:10:17
阅读次数：
348
计算topNwords的topology,用于比如trendingtopicsortrendingimagesonTwitter.实现了滑动窗口计数和TopN排序,比较有意思,具体分析一下代码Topology这是一个稍微复杂些的topology,主要体现在使用不同的grouping方式,fields...
分类：
其他好文 时间：
2014-09-19 21:05:06
阅读次数：
274
HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有...
分类：
其他好文 时间：
2014-09-18 13:09:33
阅读次数：
309
由于公司想把部份业务迁到windowsazure,主要是应用winodwsazure的存储;在方案中为了体现存储的可靠性所以对winodwsazure存储进行了一系列的测试.但在读取压力测试环节中发现间歇性出现文件读取延时的情况,由于自己在编写测试应用方面比较善长(年长的农码),所以把问题归...
分类：
其他好文 时间：
2014-09-17 13:21:42
阅读次数：
199
1. 背景1.1. 宕机的代价1.1.1. 电信行业毕马威国际(KPMG International)在对46个国家的74家运营商进行调查后发现，全球通信行业每年的收益流失约为400亿美元，占总收入的1%-3%。导致收益流失的因素有多种，主要原因就是计费BUG。1.1.2. 互联网行业美国太平洋时间...
分类：
Web程序 时间：
2014-09-17 11:35:12
阅读次数：
329
LVS是基于Linux系统的服务器集群解决方案，它的目标就是创建一个具有较好的扩展性、较好的可靠性、较高的性能的一个体系，很多商业的集群产品，都是基于LVS技术来实现的。
LVS的核心就是通过一组服务器来进行负载均衡，通过前端的负载调度器，把请求无缝的调度到真实的服务器上，那么这样的话客户端是感受不到的。它的伸缩性就是在集群中加入或者删除节点来实现，通过检测节点或者服务进程的故障并且正确的设...
分类：
Web程序 时间：
2014-09-17 07:50:31
阅读次数：
290
由于公司想把部份业务迁到windowsazure,主要是应用winodwsazure的存储;在方案中为了体现存储的可靠性所以对winodwsazure存储进行了一系列的测试.但在读取压力测试环节中发现间歇性出现文件读取延时的...
分类：
其他好文 时间：
2014-09-16 22:17:01
阅读次数：
333
一种电子商务平台系统，包括WEB服务器、数据库服务器、交换机、路由器、客户终端计算机，所述客户终端计算机通过交换机、路由器连接至WEB服务器和数据库服务器。其中，所述WEB服务器包括第一WEB服务器和第二WEB服务器，组成双机容错服务器，增强系统可靠性。所述数据库服务器包括信息数据库服务器和图片数据...
分类：
其他好文 时间：
2014-09-16 15:52:20
阅读次数：
144
SAS和SATA硬盘的区别如你所知，同ATA一样，SCSI是一种能够通过各自的数据信道连接多种设备的并行技术。和ATA一样，SCSI也向串行技术方向有所发展，这就是SAS（SerialAttachedSCSI）。简而言之，SAS是新一代的SCSI，其中包含了一些改进，比如更高的传输速度、更好的可升级性和可..
分类：
其他好文 时间：
2014-09-16 10:53:51
阅读次数：
216
nimbus是storm集群的"控制器"，是storm集群的重要组成部分。我们可以通用执行bin/storm nimbus >/dev/null 2>&1 &来启动nimbus。bin/storm是一个python脚本，在这个脚本中定义了一个nimbus函数：nimbus函数def nimbus(k...
分类：
其他好文 时间：
2014-09-15 22:33:00
阅读次数：
594
