高可用与存储的结合之前我们做好了fence,今天将高可用和存储结合起来。试验主机:172.25.0.2172.25.0.3172.25.0.251(做数据输出端)第一部分:##在做实验之前,需要将luci打开,并且查看集群状态:##将集群的apach关闭:##查看ip发现没有vip:##检测server2的apache(也就是看..
分类:
其他好文 时间:
2016-09-28 07:50:54
阅读次数:
253
RHCS+GFS2+ISCSI+CLVM实现共享存储
2015-03-2516:35:29
标签:iscsiscsirhcsclvmgfs2
本文转载修改自http://www.it165.net/admin/html/201404/2654.html一,GFS2简介GFS2
是一个基于GFS的先进的集群文件系统,能够同步每台主机的集群文件系统的metadata,能够进行文..
分类:
其他好文 时间:
2016-09-24 13:48:42
阅读次数:
260
一、Hbase简介 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop Ma ...
分类:
其他好文 时间:
2016-09-22 10:08:49
阅读次数:
190
作者:千岁大王链接:https://www.zhihu.com/question/27974418/answer/39845635来源:知乎著作权归作者所有,转载请联系作者获得授权。 Google内部早就开始玩大数据,发现时代跟不上他们的节奏,担心技术后继无人,于是发表了三篇论文(搜下gfs big ...
分类:
其他好文 时间:
2016-09-07 12:59:44
阅读次数:
122
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Google学术论文,这是众多分布式文件系统的起源 Google File Sy ...
分类:
其他好文 时间:
2016-09-03 08:34:57
阅读次数:
160
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失 ...
分类:
其他好文 时间:
2016-08-23 19:03:14
阅读次数:
227
在配置hbase集群将 hdfs 挂接到其它镜像盘时,有不少困惑的地方,结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable,其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生, ...
分类:
其他好文 时间:
2016-08-21 12:30:27
阅读次数:
229
一、HDFS概述 1、HDFS设计思想来源于Google的GFS,是GFS的开源实现。 2、HDFS要解决的问题: -存储超大文件,比如TB级别 -防止文件丢失。 3、HDFS的特点 -可以存储超大文件 -只允许对一个已经打开的文件顺序写入,还可以在现有文件的末尾追加,要想修改一个文件(追加内容除外 ...
分类:
其他好文 时间:
2016-08-01 15:29:24
阅读次数:
145
一、hadoop简介 1、hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要,HDFS来源于google的GFS,MapReduce来源于Google的MapReduce,HBase来源于Google的BigTable.hadoop后被引入Apache基金会. 2、hadoop两大核心 ...
分类:
其他好文 时间:
2016-07-31 15:47:36
阅读次数:
230
1、下列有关hdfs的说法正确的是() A、HDFS是分布式计算中数据存储管理的基础,可以运行在多台廉价的商用服务器上 B、HDFS来源于Google2003年10月发表的GFS(Google File System)论文,是GFS的一个克隆版本 C、HDFS具有高容错性,由HDFS内部机制自动保存 ...
分类:
其他好文 时间:
2016-07-11 19:03:31
阅读次数:
1365