The Google File System中文版译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传...
分类：
其他好文 时间：
2014-07-10 17:02:08
阅读次数：
289
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
文件系统，对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS
分类：
其他好文 时间：
2014-07-02 20:47:41
阅读次数：
285
GFS解决了某些业务场景对分布式文件系统需求，很自然的，也有某些业务仅仅靠文件系统用起来还是不那么方便，它们需要分布式数据库系统。BigTable就是Google为了解决内部对大规模结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为：
1. 结构化数据
2. 数据量大
3. 典型应用：Web索引，Google Earth，Google Finance
4. 批处理和实时需求
5. ...
分类：
其他好文 时间：
2014-06-30 16:58:28
阅读次数：
200
引言
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件...
分类：
其他好文 时间：
2014-06-28 07:48:49
阅读次数：
253
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
=========================================================================================一、服务器分布及相关说明=========================================================================================1、服务器信息2、总体架构3、网络参数4、元数据节点上需要..
分类：
其他好文 时间：
2014-06-21 18:59:46
阅读次数：
424
存储能力是提供给上层业务系统以实现文件存取服务，这个存储能力为XDFS，即可扩展的分布式文件系统，实现的原理是封装了第三方的分布式存储系统实现的。目前封装的第三方分布式系统包括FastDFS、Hadoop的HDFS，所提供的存储接口如下： 1 文件上传 2 文件断点上传 3 文件...
分类：
其他好文 时间：
2014-06-20 21:21:55
阅读次数：
470
??
本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。
设计要点:
性能
提高性能的方法就是并行，讲一个任务分解成多个任务，同时执行。
GFS中的思路是将文件分块,每个块是一个chunk,每个chunk单独保存，保存chunk的节点叫chunkserver。对文件的读写，可以转成对chun...
分类：
其他好文 时间：
2014-06-17 23:00:34
阅读次数：
268
NFS服务器的配置1.1NFS概述NFS是一种分布式文件系统允许网络中的安装不同的操作系统的计算机之间共享文件。我的安装环境:redhat5.9NFS服务器的主要软件包：nfs-utils-1.0.9-66.el5portmap-4.0-65.2.2.1系统服务脚本：NFSportmap主配置文件：/etc/exports、/etc/exports配置解析..
分类：
其他好文 时间：
2014-06-17 18:13:48
阅读次数：
275
