**什么是分布式存储：分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多..
分类：
其他好文 时间：
2016-10-14 00:58:28
阅读次数：
300
使用如下的 conf/hadoop-site.xml: 格式化一个新的分布式文件系统：$ bin/hadoop namenode -format 启动Hadoop守护进程：$ bin/start-all.sh Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${ ...
分类：
其他好文 时间：
2016-10-10 11:26:34
阅读次数：
158
在生产中我们一般希望文件系统能帮我们解决以下问题，如：1.超大数据存储；2.数据高可用（冗余备份）；3.读/写高性能；4.海量数据计算。最好还得支持多平台多语言，支持高并发。 由于单台服务器无法满足以上要求，这就迫使开发者不得不考虑使用其他方式解决此类问题。分布式文件系统就在这样迫切的需求下孕育而生 ...
分类：
其他好文 时间：
2016-10-09 09:09:22
阅读次数：
122
普通存储： DAS:直连式存储。 NAS:连接式存储。 SAN:存储网络。 大文件分布存储： GFS:Google File System(Google文件系统). HDFS: Hadoop Distributed File System(Hadoop分布式文件系统). 小文件分布存储： ADFS: ...
分类：
其他好文 时间：
2016-10-08 09:36:23
阅读次数：
187
Glusterfs 分布式存储部署 是存储当中可以选择的一种 现在很多虚拟化 云计算都在用软件存储 例如 ceph Glusterfs 等等 今天我们部署一下Glusterfs环境 GlusterFs安装 环境信息： 服务器版本信息 # uname -r 2.6.32-504.el6.x86_64 ...
分类：
其他好文 时间：
2016-10-08 01:45:01
阅读次数：
243
一、Hadoop简介： Hadoop是由Apache基金会所开发的分布式系统基础架构，实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS；Hadoop框架最核心设计就是HDFS和MapReduce，HDFS为海量数据提供了存储，MapReduce为 ...
分类：
其他好文 时间：
2016-10-06 12:33:46
阅读次数：
211
语法格式：glustervolumeset<VOLNAME>locks.mandatory-locking<off/file/forced/optimal>注：off-为指定的卷禁用强制锁file-启用Linux内核风格的强制锁语义和位模式的帮助（没有充分测试）forced-为卷检查字节范围锁定每个数据编辑操作optimal-Combinationalmodewh..
分类：
其他好文 时间：
2016-10-06 01:05:01
阅读次数：
468
HDFS HA 及解决方案 1> HDFS系统架构 HDFS(Hadoop Distributed File System),及Hadoop分布式文件系统 作用: 为Hadoop分布式计算框架提供高性能,高可靠,高可扩展的存储服务 架构：典型的主(NameNode)从(DataNode)架构,两者一 ...
分类：
其他好文 时间：
2016-10-02 13:04:17
阅读次数：
190
1.初识HDFS HDFS作为一个分布式文件系统，具有高容错的特点，它可以部署在廉价的通用硬件上，提供高吞吐率的数据访问（吞吐率：是对一个系统和它的部件处理传输数据请求能力的总体评价），适合那些需要处理海量数据集的应用程序。 1.1 HDFS主要特性 支持超大文件。超大文件在这里指的是几百MB，几百... ...
分类：
其他好文 时间：
2016-09-27 11:29:27
阅读次数：
154
HDFS架构图 一、Hadoop框架简介 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 HDFS(Hadoop Distribution File System)，称为Hadoop分布式文件系统，主要特 ...
分类：
其他好文 时间：
2016-09-23 12:45:11
阅读次数：
244
