一. hadoop Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有....
分类:
其他好文 时间:
2015-05-06 16:57:27
阅读次数:
110
今天读完《软件工程思想-适合初学者》最后两章和作者大学十年的经历,第7章是测试与改错,再次回顾了老师上课所讲测试的目的,发现更多的缺陷然后改正。还有学习到了一些测试方法,比如正确性测试、容错性测试、性能与效率测试、易用性测试、文档测试。第八章是维护与再生工程,对于维护我可能了解一些,主要是纠错...
分类:
其他好文 时间:
2015-04-30 17:43:00
阅读次数:
136
从很久之前在学校到现在我们编程的时候经常都有听说到并发编程,偶尔也会听到说并行,但我们很多人其实都不太清除并发与并行具体的区别在哪;我们刚开始学习编程语言的时候我相信我们写的都是串行程序,一步接着一步来,可以说这比并发程序更不容易出错,但在性能上要远不如并发;还有一种并发具有很强容错性:分布式程.....
分类:
其他好文 时间:
2015-04-30 00:53:36
阅读次数:
144
分布式领域CAP理论, Consistency(一致性), 数据一致更新,所有数据变动都是同步的 Availability(可用性), 好的响应性能 Partition tolerance(分区容错性) 可靠性 定理:任何分布式系统只可同时满足二点,没法三者...
分类:
其他好文 时间:
2015-04-22 11:54:43
阅读次数:
143
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访...
分类:
其他好文 时间:
2015-04-20 00:17:10
阅读次数:
218
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high thro...
分类:
其他好文 时间:
2015-04-19 18:00:31
阅读次数:
108
一、简介 如果在消息处理过程中出了一些异常,Storm 会重新安排这个出问题的 topology。Storm 保证一个 topology 永远运行(除非你显式杀掉这个 topology) 。 当然,如果 topology 中存储了中间状态,那么当 topology 重新被 Storm 启动的时候.....
分类:
其他好文 时间:
2015-04-18 19:07:10
阅读次数:
98
最近做了近一年的CS项目终于接近完工了,有一种脱离苦海,跳出泥潭的感觉。虽然此项目做的很不理想,但它却给了我颇多感受,许多经验教训值得总结。1。总的技术解决方案大方向上选择的不合适,导致后期对新的需求,新功能开发上难度上成倍的增加,致使软件的易用性、容错性、扩展性都很不理想,维护起来也相当麻烦,做到...
分类:
其他好文 时间:
2015-04-15 22:44:13
阅读次数:
166
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数...
分类:
其他好文 时间:
2015-04-13 22:25:32
阅读次数:
171
我是一个极简主义者,我不喜欢过早或者没必要地让软件复杂化。而往软件系统中添加组件就是严重增加复杂性的一种做法。我们来拿消息队列举个例子。 消息队列是一个能让你获得容错性,分布式,解耦等架构能...
分类:
其他好文 时间:
2015-04-13 19:10:33
阅读次数:
152