分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。分布式存储系统分布式存储按其存储接口
分类：
其他好文 时间：
2019-02-27 20:41:33
阅读次数：
235
HDFS的探究： HDFS HDFS是 Hadoop Distribute File System的缩写，是谷歌GFS分布式文件系统的开源实现，Apache Hadoop的一个子项目，HDFS基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将百千台组成存储集群，HDFS运行在低成本的 ...
分类：
其他好文 时间：
2019-02-22 12:25:54
阅读次数：
258
基础命令学习目录首页 原文链接：https://www.cnblogs.com/xqzt/p/5426666.html 1、命令简介 locate(locate) 命令用来查找文件或目录。 locate命令要比find -name快得多，原因在于它不搜索具体目录，而是搜索一个数据库/var/lib/ ...
分类：
其他好文 时间：
2019-02-05 11:52:38
阅读次数：
206
HBase介绍 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其 ...
分类：
其他好文 时间：
2019-01-09 01:25:17
阅读次数：
417
Hadoop： 数据存储模块 数据计算模块 doug cutting //hadoop之父 //分布式文件系统GFS，可用于处理海量网页的存储 //分布式计算框架MAP REDUCE，可用于处理海量网页的索引计算问题 hadoop: GFS > NDFS（Nutch distributed file ...
分类：
其他好文 时间：
2019-01-08 21:00:21
阅读次数：
221
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源 Google File Sy ...
分类：
其他好文 时间：
2019-01-07 21:02:02
阅读次数：
216
hadoop生态系统如下图所示： HDFS： HDFS（Hadoop Distributed File System）是分布式文件系统，是针对谷歌开发的分布式文件系统GFS（Google File System）的开源实现，是Hadoop两大核心组成部分之一。 HDFS有NameNode和DataN ...
分类：
其他好文 时间：
2019-01-04 23:33:32
阅读次数：
344
Linux locate命令 locate(locate) 命令用来查找文件或目录。 locate命令要比find -name快得多，原因在于它不搜索具体目录，而是搜索一个数据库/var/lib/mlocate/mlocate.db 。这个数据库中含有 本地所有文件信息。Linux系统自动创建这个数 ...
分类：
其他好文 时间：
2019-01-02 16:17:51
阅读次数：
1514
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
分类：
其他好文 时间：
2018-12-29 18:37:56
阅读次数：
220
Hadoop官网 http://hadoop.apache.org/ Hadoop来源 GFS HDFS MapReduce MapReduce BigTable HBase Common The common utilities that support the other Hadoop modu ...
分类：
其他好文 时间：
2018-12-14 01:09:30
阅读次数：
214
