pilicat-dfs 霹雳猫-分布式文件系统 一种可以将网站图片或上传的文件，进行分布式存放的服务，可自动复制到多台物理机器，可满足高可用和负载均衡 已编译好的程序包 http://git.oschina.net/tavenli/pilicat-dfs/releases 功能介绍 支持多个dfs- ...
分类：
其他好文 时间：
2017-07-24 22:33:09
阅读次数：
186
MogileFS是一个开源的分布式文件系统，Nginx是开源的4-7层web应用服务端以及反向代理服务端。本文基于CentOS7平台，进行MogileFS+Nginx的部署MogileFS的一些注意事项针对于MogileFS，有如下概念需要注意一下。MogileFS属于有中心节点形式的分布式文件系统，元数据默认存储在关..
分类：
其他好文 时间：
2017-07-24 11:26:50
阅读次数：
191
今日根据《hadoop权威指南》和炼数成金的黄志洪老师的视频，了解了hadoop的基本原理、基本构架和简单实现。 hadoop本身是一个分布式文件系统（HDFS）和计算框架（MapReduce）；YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 ...
分类：
其他好文 时间：
2017-07-23 00:53:07
阅读次数：
119
由于对大数据处理的需求。使得我们不断扩展计算能力，集群计算的要求导致分布式计算框架的诞生。用便宜的集群计算资源在短短的时间内完毕以往数周甚至数月的执行等待，有人说谁掌握了庞大的数据。谁就主导了需求。尽管在十几年间，通过过去几十年的积淀，诞生了mapreduce。诞生了分布式文件系统。诞生了霸主级别的 ...
分类：
其他好文 时间：
2017-07-22 13:14:18
阅读次数：
231
最近接触了下GlusterFS,所以就想着在自己的笔记本上的虚拟机里安装个测试环境。起初想要从https://github.com/gluster/glusterfs/上下载一个build然后编译安装，但是试了很多次，在make时总是失败，折腾了两天后，彻底死心了...1.先介绍下我的实验环境，由于笔记本配置不是很高..
分类：
其他好文 时间：
2017-07-21 21:52:29
阅读次数：
208
关于GlusterFS的原理理论介绍，请点击这里查看一、GlusterFS安装本博文讲简要介绍GlusterFS在CentOS7中的部署和应用。由于GlusterFS需要使用网络，因此还必须事先根据环境设置防火墙规则，关闭SELinux。因为GlusterFS至少需要两台服务器搭建，所以我们这里使用两台服务器作为示..
分类：
其他好文 时间：
2017-07-21 15:32:54
阅读次数：
211
一、分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源并不直接与本地节点相连，而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成，结构上是典型的客户机/服务器模式。流行的..
分类：
其他好文 时间：
2017-07-20 22:11:15
阅读次数：
2285
HDFS 1 HDFS是什么？ 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色； HDFS是分布式文件系统（多个datanode更亲切点吧） 2 设计思想以及特性 设计思想：分而治之：将大文 ...
分类：
其他好文 时间：
2017-07-20 19:45:46
阅读次数：
128
spark 环境搭建 下载的压缩文件放在~/software/ 解压安装在~/app/ 一：分布式文件系统搭建HDFS 1，下载Hadoop HDFS环境搭建 使用版本：hadoop-2.6.0-cdh5.7.0 下载：wget http://archive.cloudera.com/cdh5/cd ...
分类：
其他好文 时间：
2017-07-18 10:03:51
阅读次数：
163
FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站 FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以... ...
分类：
其他好文 时间：
2017-07-15 11:30:27
阅读次数：
243
