一、课程简介1. Hadoop是什么?Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。Had...
分类:
其他好文 时间:
2015-06-02 13:01:20
阅读次数:
116
_此文仍在更新中_ # 分布式系统技术概要 现在互联网应用,尤其是大型互联网公司的应用已经发展为大规模或超大规模的分布式的,集群化的应用。而中小规模的分布式应用也已广泛出现在各个领域。未来,随着云计算向社...
分类:
其他好文 时间:
2015-05-31 18:49:35
阅读次数:
190
简介google protocolbuffer,google 提供了三种语言的实现:java、c++和python,每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式,比使用xml进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容...
本帖最后由 pig2 于 2014-8-24 22:23 编辑hadoop是什么?(1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ M...
分类:
其他好文 时间:
2015-05-29 23:02:29
阅读次数:
129
今天看WCF实例研究,附带收获了几个概念,才发现自己对于一些宏观上的概念性的东西了解的少之又少。很多东西拿来用了却不知道它的原理和出处,以致别人在说到的时候一脸茫然,知道看了代码才知道,哦,原来是这个。不管怎么样,要多积累。不管怎么样,把知道的理解的不理解的用过的没用过先记录下来再说,至少下一次会有印象。Ioc控制反转控制反转(Inversion of Control)是一个重要的面向对象编程的法则...
分类:
其他好文 时间:
2015-05-29 18:17:40
阅读次数:
127
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此...
分类:
其他好文 时间:
2015-05-27 22:55:06
阅读次数:
441
zookeeper概述针对分布式应用的分布式协作服务,zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。设计目标简单。允许多个分布的进程基于一个共享的,类似标准文件系统的树状名称空间进行协作。每个节点称作一个znode。ZooKeeperisreplicated几个zookeeper集..
分类:
其他好文 时间:
2015-05-26 19:07:22
阅读次数:
143
zookeeper概述
针对分布式应用的分布式协作服务,zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。
设计目标
简单。 允许多个分布的进程基于一个共享的,类似标准文件系统的树状名称空间进行协作。每个节点称作一个znode。
ZooKeeper is replicated
几个zookeeper集群包含多个zookeeper server,...
分类:
其他好文 时间:
2015-05-26 18:52:58
阅读次数:
184
zookeeper概述针对分布式应用的分布式协作服务,zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。设计目标简单。 允许多个分布的进程基于一个共享的,类似标准文件系统的树状名称空间进行协作。每个节点称作一个znode。ZooKeeper is replicated几个zo...
分类:
其他好文 时间:
2015-05-26 18:40:13
阅读次数:
123
面向 对象的设计,外观模式和模板方法模式类似,都是封装 ,某个程序 需要很多类,而且很多地方要用。 便创建一个新的类,把拥有所有类的实例,从而使 代码简洁; 这个模式呢,有个最大的特点将细粒度的对象包装成粗粒度的对象,应用程序通过 访问这个外观对象,来完成细粒度对象的调用,外观模式一般是分布式应用和...
分类:
其他好文 时间:
2015-05-26 15:57:24
阅读次数:
144