1、DataNode为每个数据复制数据副本，保存在其它DataNode中。2、NameNode文件系统的元数据全保存在RAM中，DataNode初始化以及每隔1小时，向NameNode发送块报告，以便NameNode掌握各个DataNode的运行状态，并进行DataNode的映射。3、预写日志。通过在edits中顺序增加的方式减少I/O操作。4、fsimage:NameNode启动后，加载fsim...
分类：
其他好文 时间：
2014-12-04 18:03:55
阅读次数：
184
一、hdfs写数据1、客户端通过Hadoop文件系统相关API 发送请求。打开一个要写入的文件，如果该用户拥有足够的权限，这一请求会被发送到NameNode，在NameNode上建立该文件的元数据。2、刚建立的新文件元数据并未将该文件和任何数据块关联，客户端仅收到打开文件成功的响应。3、客户端在API层面上将数据写入流中，数据被自动拆分成数据包，数据包保存在内存队列中。4、客户端有一个独立的线程，...
分类：
其他好文 时间：
2014-12-04 12:12:58
阅读次数：
170
Disco旨在较大的应用程序轻松集成，比如web服务，那样要求计算的任务可以委托给独立于核心应用程序的集群去执行。Disco提供了一个非常紧凑的Python API——通常只需要两个函数，以及一个rest样式的Web API的工作控制和简单易用的状态监控Web界面。此外，Disco还拥有了一个简单的工作协议，允许作业以任何语言编写，实现协议。 Disco对LINUX商业服务器集群非常友好...
分类：
其他好文 时间：
2014-12-04 10:19:47
阅读次数：
201
21世纪毋庸置疑是属于云的时代，各种云应运而生（云物联、云计算、云游戏、云存储....）而hadoop正是云时代的产物，Hadoop是一个能够对大量数据进行分布式处理的软件框架,Hadoop以一种可靠、高效、可伸缩的方式进行数据处理.Hadoop是一个能够让用户轻松架构和使用的分布式计算..
分类：
Web程序 时间：
2014-12-04 06:29:51
阅读次数：
360
1.1 J2EE概述1.1.1 桌面计算机和分布式计算桌面计算是基于单机的软件设计、实现和运行模型。在此模型中，软件由有限的功能模块和开发组件组成，可扩展性、可维护性和集成能力有限。分布式计算也称为“企业计算”（Enterprise Computing），在此框架下的软件系统跨越更多的地域和计算机系...
分类：
其他好文 时间：
2014-12-04 00:43:32
阅读次数：
246
Disco是一个轻量级的、开源的基于mapreduce模型计算的框架，Disco强大且易于使用，这都要归功于python，Disco分发且复制数据，可高效安排作业。Disco甚至拥有能对数以亿计的数据点进行索引以及实时查询的工具。Disco于2008年在Nokia研究中心诞生，解决了在大量数据处理方面的挑战。Disco支持大数据集的并行计算，在不可靠的计算机集群中，Disco是一个完美的分析和处理...
分类：
其他好文 时间：
2014-12-02 22:32:39
阅读次数：
206
作为典型的分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，是一种重要的分布式计算技术，它提高了程序的互操作性，在Hadoop的实现中得到..
分类：
其他好文 时间：
2014-11-30 17:21:33
阅读次数：
166
作为典型的分布式系统，Hadoop中各个实体间存在着大量的交互，远程过程调用让用户可以像调用本地方法一样调用另外一个应用程序提供的服务，而不必设计和开发相关的信息发送、处理和接收等具体代码，是一种重要的分布式计算技术，它提高了程序的互操作性，在Hadoop的实现中得到..
分类：
其他好文 时间：
2014-11-30 17:21:27
阅读次数：
150
人往往会迷失自我，特别是在顺境的时候，以及忙忙碌碌的每一天。很多人有改变的想法，但很少人有改变的勇气，更鲜有人能在承受改变的过程中坚持住最初的梦想。所以，我决定在周末停下来思考，给自己画像。停下，不是要成为一潭死水，而是为了更好的前行。说明：所有图片和文字均原创，转载请说明出处。分布式计算密集型分布...
分类：
其他好文 时间：
2014-11-29 18:56:07
阅读次数：
214
转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些...
分类：
其他好文 时间：
2014-11-27 12:15:25
阅读次数：
219
