前言：先把DRBD高可用大概的写一下，后面再引入分布式系统与DRBDR相结合更加明显凸显他们各自实现的功能，从而整体体现出相对比较可靠（稳定）的状态。一、DRBD简介1、DRBD是啥、能干啥？DRBD全称：：DistributedReplicatedBlockDevice分布式块设备复制，是一种基于软件的，无..
分类：
其他好文 时间：
2017-10-29 23:16:23
阅读次数：
255
基于corosync和pacemaker+drbd实现mfs高可用一、MooseFS简介1、介绍MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器单独磁盘或分区上，确保一份数据有多个备份副本。因此MooseFS是一中很好的分布式存储。但是基于的是单节点的，对公司企..
分类：
其他好文 时间：
2017-10-28 17:40:16
阅读次数：
187
config目录下有2个配置文件：es的配置文件（elasticsearch.yml） 和日志配置文件（logging.yml ） cluster.name: elasticsearch 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集 ...
分类：
其他好文 时间：
2017-10-28 15:32:38
阅读次数：
161
1）hive和关系型数据库存储文件的系统不同。 hive使用hdfs（hadoop的分布式文件系统），关系型数据库则是服务器本地的文件系统； 2）hive使用的计算模型是mapreduce，而关系型数据库则是自己设计的计算模型。 3）hive是为海量数据做数据挖掘设计的，实时性差；而关系型数据库是为 ...
分类：
数据库 时间：
2017-10-27 17:59:39
阅读次数：
165
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高 ...
分类：
其他好文 时间：
2017-10-27 15:44:42
阅读次数：
136
前几天的安装了一台tfs，今天上午的时候刚刚到了机房。今天这里就给大家介绍下tfs的如何进行配置并启动。淘宝分布式文件系统有2个节点，NameServer负责Block的创建，删除，复制，均衡，整理，NameServer不负责实际数据的读写，实际数据的读写由!DataServer完成。DataServer主要..
分类：
其他好文 时间：
2017-10-25 23:34:28
阅读次数：
209
一.配置环境Redhat6.5Server1：172.25.50.1mastercorosync+pacemakerServer2：172.25.50.2mastercorosync+pacemakerServer3：172.25.50.3chunkServer4：172.25.50.4chunkServer5：172.25.50.5iscsiVip：172.25.50.100mfsmaster二.安装1.server1和server2安装corosync和pacemake..
分类：
系统相关 时间：
2017-10-25 11:16:30
阅读次数：
223
一、MFS特性：1.Free(GPL)2.通用文件系统，不需要修改上层应用就可以使用3.可以在线扩容，体系架构可伸缩性极强。4.部署简单。5.高可用，可设置任意的文件冗余程度(提供比raid1+0更高的冗余级别,而绝对不会影响读或写的性能，只会加速)6.可回收在指定时间内删除的文件(“回收站..
分类：
系统相关 时间：
2017-10-24 01:42:26
阅读次数：
294
前言 HDFS（Hadoop Distributed File System）是一个分布式文件系统。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。 优点是： 高吞吐量访问：HDFS的每个Block分布在不同的Rack上 ...
分类：
其他好文 时间：
2017-10-18 01:54:49
阅读次数：
193
前言 其实说到HDFS的存储原理，无非就是读操作和写操作，那接下来我们详细的看一下HDFS是怎么实现读写操作的！ 一、HDFS读取过程 1）客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。 2）DistributedFi ...
分类：
其他好文 时间：
2017-10-17 15:30:45
阅读次数：
108
