分布式领域CAP理论,Consistency(一致性), 数据一致更新,所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容错性) 可靠性定理:任何分布式系统只可同时满足二点,没法三者兼顾。忠告:架构师不要将精力浪费在如何设计能满足三...
分类:
其他好文 时间:
2015-09-17 17:27:01
阅读次数:
206
转载请注明来自36大数据(36dsj.com):36大数据 » Hadoop分布式文件系统HDFS的工作原理详述转注:读了这篇文章以后,觉得内容比较易懂,所以分享过来支持一下。Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适...
分类:
其他好文 时间:
2015-09-10 11:08:23
阅读次数:
157
大致的思路已经整理出来, 上一次遍历到的子级是下一次遍历到的父级;首先开始是对$(str)里面的str字符串进行切片;var str = ' div .abc .edf '$(str);//切片思路如下//首先在使用选择器时可能手误,前面空了空格,或者后面空了空格;为了增加容错性,在此先...
分类:
Web程序 时间:
2015-09-07 22:47:15
阅读次数:
217
使用jQuery选择器不仅比使用传统的getElementById()和getElementsByTagName()函数简洁得多,而且还能避免某些错误。1 如果网页中没有id为“tt”的元素,浏览器就会报错。1 这样可以避免浏览器报错,但如果要操作的元素很多,代码需要增加很多判断。jQuery获取网...
分类:
Web程序 时间:
2015-09-03 21:42:28
阅读次数:
138
之前有幸在MOOC学院抽中小象学院hadoop体验课。这是小象学院hadoop2.X的笔记由于平时对数据挖掘做的比较多,所以优先看Mahout方向视频。Mahout有很好的扩展性与容错性(基于HDFS&MapReduce开发),实现了大部分常用的数据挖掘算法(聚类、分类、推荐算法)不过数据挖掘调参和...
分类:
其他好文 时间:
2015-08-29 00:45:12
阅读次数:
211
软件需求定义(1)功能需求:是指系统必须完成的那些事,即为了向它的用户提供有用的功能,产品必须执行的动作。(2)非功能需求:是指产品必须具备的属性或品质,如可靠性、性能、响应时间、容错性、扩展性等。(3)设计约束:也称为限制条件、补充规约,这通常是对解决方案的一些约..
分类:
其他好文 时间:
2015-08-26 20:20:10
阅读次数:
105
一、序言近几个月一直从事一个分布式异步通信系统,今天就整理并blog一下.这是一个全国性的通信平台,对性能,海量数据,容错性以及扩展性有非常高的要求,所以在系统的架构上就不能简单的采用集中式.简单的总结一下就是: 1.数据分布式存储 2.请求分布式调度 3.多结点分布式部署 4.双重...
分类:
编程语言 时间:
2015-08-21 21:11:48
阅读次数:
188
这篇是计算机类的优质预售推荐>>>>《Spark机器学习》
当机器学习遇上最流行的并行计算框架Spark......
编辑推荐
Apache Spark是一个分布式计算框架,专为满足低延迟任务和内存数据存储的需求而优化。现有并行计算框架中,鲜有能兼顾速度、可扩展性、内存处理以及容错性,同时还能简化编程,提供灵活、表达力丰富的强大API的,Apache
Spark就是这...
分类:
其他好文 时间:
2015-08-18 10:17:25
阅读次数:
205
htmlparser使用指南需要做一个垂直搜索引擎,比较了nekohtml和htmlparser 的功能,尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好(htmlunit也用的是nekohtml),但感觉 nekohtml的测试用例和文档都比htmlparser都少,而且...
分类:
Web程序 时间:
2015-08-17 00:57:27
阅读次数:
377
HDFS优点:
1. 高容错性。
a) 数据自动保存多个副本
b) 副本丢失后,自动恢复
2. 适合批处理
a) 移动计算而非移动数据
b) 数据位置暴露给计算框架
3. 适合大数据处理
a) GB、TB、甚至PB级数据
b) 百万规模以上的文件数量
c) 10K + 节点...
分类:
其他好文 时间:
2015-08-16 00:42:09
阅读次数:
95