The Google File System中文版译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传...
分类：
其他好文 时间：
2014-07-10 17:02:08
阅读次数：
289
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avro、 Chukwa、Hive 、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。以...
分类：
其他好文 时间：
2014-07-10 14:57:00
阅读次数：
333
glusterfs中的内存管理方式： 1 struct mem_pool * 2 mem_pool_new_fn (unsigned long sizeof_type, 3 unsigned long count, char *name) 4 { 5 ...
分类：
其他好文 时间：
2014-07-08 21:50:47
阅读次数：
441
文件系统，对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS
分类：
其他好文 时间：
2014-07-02 20:47:41
阅读次数：
285
GFS解决了某些业务场景对分布式文件系统需求，很自然的，也有某些业务仅仅靠文件系统用起来还是不那么方便，它们需要分布式数据库系统。BigTable就是Google为了解决内部对大规模结构化数据处理的需求而产生的。论文摘要涉及的“关键”字为：
1. 结构化数据
2. 数据量大
3. 典型应用：Web索引，Google Earth，Google Finance
4. 批处理和实时需求
5. ...
分类：
其他好文 时间：
2014-06-30 16:58:28
阅读次数：
200
引言
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件...
分类：
其他好文 时间：
2014-06-28 07:48:49
阅读次数：
253
背景：由于在KVM虚机上做glusterfs测试，发现KVM虚拟存储空间不够。思路：创建一个kvmimg文件指定大小200G，然后通过VirtualMachineManager导入到对应的虚拟机步骤：这里以虚拟机vm2为例创建kvmimg[root@agent-cloudstack342]cd/d1/virtual_machine/vm/2#进入虚机文件目录[root..
分类：
其他好文 时间：
2014-06-27 06:38:28
阅读次数：
288
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
Cinder项目为管理快设备而生，它最重要的地方就是如何做到和各种存储后端就到完美适配，用好后端存储的功能，本文为Cinder 多种后端存储(LVM, FC+SAN, iSCSI+SAN, NFS, VMWARE, Glusterfs)的场景总结, 以防自己将来忘记，欢迎交流， 共同成长...
分类：
其他好文 时间：
2014-06-22 15:26:55
阅读次数：
293
