Hadoop 概述和结构 1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS. 2.HDSF HDFS 是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上 ...
分类:
其他好文 时间:
2018-03-28 18:48:54
阅读次数:
189
1 . 简介 GFS, Big Table, Map Reduce称为Google的三驾马车,是许多基础服务的基石 GFS于2003年提出,是一个分布式的文件系统,与此前的很多分布式系统的前提假设存在很大的不同,适用于以下场景 1)认为组件失效是一种常态,提供了容错机制,自动负载均衡,使得分布式文件 ...
分类:
其他好文 时间:
2018-03-28 18:44:15
阅读次数:
252
多台服务器通过NFS方式共享一个服务器的存储空间,使得NFS服务器不堪重负,且会有单点故障问题,虽然用rsync可以使数据同步备份到另一台服务器,但对提高整个系统性能无帮助。采用MFS分布式文件系统,服务器之间的数据访问不再是一对多,而是多对多的关系,使性能大幅提升。下载地址http://ppa.moosefs.com/src/moosefs-3.0.100-1.tar.gzfuse-2.9.2.
分类:
其他好文 时间:
2018-03-28 16:54:49
阅读次数:
449
目前项目包含了 客户端disconf-Client和 管理端disconf-Web两个模块。目前所有模块代码均是Java实现
分类:
其他好文 时间:
2018-03-28 16:47:53
阅读次数:
115
https://www.cnblogs.com/yzlpersonal/p/5121065.html 网上找了些资料,看完觉得明白了很多~~~ 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。作者:林建入链接:http://www.zhihu.com/question/22764 ...
分类:
其他好文 时间:
2018-03-28 15:41:10
阅读次数:
192
摘要:在前文中提及了实现分布式锁目前有三种流行方案,分别为基于数据库、Redis、Zookeeper的方案,本文主要阐述基于Redis的分布式锁,分布式架构设计如今在企业中被大量的应用,而在不同的分布式节点进行协同工作的时候,节点服务的时序、结果的正确性以及执行成本也成为了必须考虑的重要因素。其中竞 ...
分类:
其他好文 时间:
2018-03-28 15:37:54
阅读次数:
90
最近在慕课网新上的课程,有兴趣的朋友可以关注一波 http://coding.imooc.com/class/201.html ...
分类:
其他好文 时间:
2018-03-28 15:35:32
阅读次数:
111
转自:http://blog.csdn.net/gueter/archive/2007/03/08/1524447.aspx Author :Jeffrey 引言 HTTP是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用于分布式超媒体信息系统。它于1990年提出,经过几年的使用与发展, ...
分类:
Web程序 时间:
2018-03-28 15:32:40
阅读次数:
216
Spring Cloud 是一个基于 Spring Boot 实现的云应用开发工具,它为基于 JVM 的云应用开发中涉及的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等操作提供了一种简单的开发方式。通过 Spring Boot 风格进行再封装屏蔽 ...
分类:
编程语言 时间:
2018-03-28 14:22:54
阅读次数:
170
RDD,即弹性分布式数据集,也就是分布式的元素集合。在Spark中,对数据的所有操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后,Spark会自动将RDD中的数据分发到集群上,并将操作并行化执行。 RDD支持两种类型的操作:转化操作和行动操作。转换操作会由一个RDD生 ...
分类:
其他好文 时间:
2018-03-28 12:25:42
阅读次数:
155