HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战 ...
分类：
其他好文 时间：
2018-01-24 22:30:04
阅读次数：
355
1.Hadoop与HDFS的关系 Hadoop实现了一个分布式文件系统，即Hadoop Distributed File System，简称HDFS。对外部客户机而言，HDFS就像一个传统的分级文件系统，所以，很多时候，我们也叫它DFS（Distributed File System）。可以理解为H ...
分类：
其他好文 时间：
2018-01-24 22:17:06
阅读次数：
370
公司最近把存储设备从NetApp换成了NimbleStorage，连接ESXi6的方式也从NFS变成了iSCSI。上周，豆子对一个很大的虚拟机执行了一个StorageVmotion操作，发现尽管在VCenter上面显示成功了，在Nimble的存储界面上，原先的LUN占据的存储空间并没有自动清掉。研究了一下，原来在ESXi6的系统上，执行了snapshotconsolidate，storagevmo
分类：
其他好文 时间：
2018-01-24 11:02:49
阅读次数：
689
FastDFS服务器的搭建进行Nginx模块添加测试
分类：
其他好文 时间：
2018-01-22 21:17:15
阅读次数：
164
原文：http://blog.mayongfa.cn/193.html 一、安装 Nginx 和 fastdfs-nginx-module 安装 Nginx 请看：从零开始学 Java - CentOS 下安装 Nginx，其实我只想放这一句话。但想想我还是一步一步写详细吧。 1.下载 Nginx ... ...
分类：
其他好文 时间：
2018-01-22 19:18:08
阅读次数：
204
Python系列之入门篇——HDFS 简介 HDFS (Hadoop Distributed File System) Hadoop分布式文件系统，具有高容错性，适合部署在廉价的机器上。Python 提供了两种接口方式，分别是hdfscli(Restful Api Call)，pyhdfs(RPC ...
分类：
编程语言 时间：
2018-01-22 14:10:46
阅读次数：
198
概念：Ceph是一个支持大量小文件和随机读写的分布式文件系统，在维护 POSIX 兼容性的同时加入了复制和容错功能。 生产环境主要的两种应用： 对象系统，类似Swift, 这里是RADOS, Reliable Autonomic Distributed Object Store, 可靠的自主分布式对 ...
分类：
其他好文 时间：
2018-01-21 00:04:44
阅读次数：
623
hadoop的核心组件：hdfs（分布式文件系统）、mapreduce（分布式计算框架）、Hive（基于hadoop的数据仓库）、HBase（分布式列存数据库）、Zookeeper（分布式协作服务）、Sqoop（数据同步工具）和Flume（日志手机工具） hdfs（分布式文件系统）： 由client ...
分类：
其他好文 时间：
2018-01-20 00:24:52
阅读次数：
604
在上一篇分布式文件系统FastDFS如何做到高可用中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问。高可用是实现了，但由于我们只设置了一个group，如果现在有5台服务器那将会出现5台只有一个group，每台服务器内的文件内容都相同（互备份）如下图，会造成资源浪费。因此下面就5台服务器进行优化改造，进一步添加keepalived+nginx多tracker架构，
分类：
其他好文 时间：
2018-01-18 10:17:53
阅读次数：
216
搭建部署FastDFS 分布式文件系统什么是分布式文件系统分布式文件系统 ( Distributed File System ) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连分布是文件系统的设计基于客户机/服务器模式一个典型的网络可能包括多个供多用户访问的服务器对等特性允许一些系统扮演客户机和服务的双重角色衡量分布式文件系统的优劣??&
分类：
其他好文 时间：
2018-01-17 00:34:45
阅读次数：
210
