Hadoop分布式文件系统是设计初衷是可靠的存储大数据集，并且使应用程序高带宽的流式处理存储的大数据集。在一个成千个server的大集群中，每个server不仅要管理存储的这些数据，而且可以执行应用程序任务。通过分布式存储和在各个server间交叉运算，集群和存储可以按需动态经济增长。以下的设计原则...
分类：
其他好文 时间：
2014-10-17 06:42:33
阅读次数：
235
一、Tachyon介绍Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的Jobs/Queries以及框架都能内存的速度来访..
分类：
其他好文 时间：
2014-10-14 21:33:59
阅读次数：
638
一、分布式文件系统简介1、分布式系统定义？分布式系统没有统一的定义，各说纷纾从服务器角度来说具有以下特点：1、系统中的各个组件分布于网路上的多个计算机；2、各个组件彼此之间通过消息传递来通信并协调行动。但是从客户端来说，看不出这些特性，不影响用户体验。2、为什..
分类：
其他好文 时间：
2014-10-09 03:25:58
阅读次数：
517
分布式文件系统：1：系统的各个组件分布于网络上的多个计算机上2：各组件彼此之间仅仅通过消息传递来通信并协调运行分布式文件系统存在的意义：A:向上扩展的性价比越来越低；单机扩展存在性能的临界点B:出稳定性及可用性考虑，单机会存在多方面的问题CPU内存IO：性能网络IO多进..
分类：
其他好文 时间：
2014-10-08 14:49:26
阅读次数：
458
本篇文章是我上级老大所写。 留在这里为了不弄丢。
FastDFS是一款开源的轻量级分布式文件系统
纯C实现，支持Linux, FreeBSD等UNIX系统
类google FS, 不是通用的文件系统，只能够通过专有API访问，目前提供了C，Java和PHP API
为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性
FastDFS可以看做是基于文件的key-val...
分类：
其他好文 时间：
2014-10-08 13:44:05
阅读次数：
300
和所有文件系统一样，GlusterFS文件系统也会随着空间使用率过大而性能开始下降，通常情况下，当空间使用量大于总容量的90%（经验值，来着GlusterFS的邮件列表）时，性能开始严重下降，通常会下降到之前性能的50%及以下。在实际生产环境中，建议可用容量保持在20%以上，当低于20..
分类：
其他好文 时间：
2014-10-08 13:10:37
阅读次数：
233
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。...
分类：
其他好文 时间：
2014-10-07 19:00:13
阅读次数：
235
一、分布式文件系统分布式文件系统（DistributedFile
System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以及PB级的数量存储。
相对地，在一个分享的磁盘文件系统中，所有节点对数据..
分类：
其他好文 时间：
2014-10-05 05:15:58
阅读次数：
488
分布式文件系统一、基础原理分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单点说就是把数据分散存储到不同节点上的一种存储机制。谈到分布式文件存储不得不和传统存储做一下对比分布式..
分类：
其他好文 时间：
2014-10-05 05:13:58
阅读次数：
435
