在本地可以用Django上传文件到Mysql数据库，但在SAE上就行不通了，SAE平台用的是分布式文件系统，官方建议开发者将所有的需要持久化的文件操作都通过Storage实现。Storage是SAE为开发者提供的分布式文件存储服务，用来存放用户的持久化存储的文件 官方说明：用户需要先在Storage...
分类：
其他好文 时间：
2015-05-01 19:53:08
阅读次数：
147
分步式文件系统（ConfiguringDistributedFileSystem，DFS）是用来集中管理分散在网路各处的共享文件夹，可以让使用者觉得分散在多台服务器上的文件，就好像存放在网路上的同一个位置，而使用者不必要知道文件的实际位置，可以让用户更方便地找到自己所需的文件。如图所示，在Se..
分类：
其他好文 时间：
2015-04-30 10:55:33
阅读次数：
127
1，关于FastDFS摘自：http://www.oschina.net/p/fastdfs
FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。...
分类：
其他好文 时间：
2015-04-28 14:16:47
阅读次数：
475
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）..
分类：
其他好文 时间：
2015-04-27 15:33:09
阅读次数：
130
一、HDFS介绍1.1 背景随着数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。学术一点的定义就是：分布式文件系统是一种允许文件通过网络在多台主机上分享的文件 的系统，可...
分类：
其他好文 时间：
2015-04-27 14:53:29
阅读次数：
158
在上一篇文章中gluster xlator的设计中，讲到通过手动修改volfile来添加相应的xlator功能，但是实际上的需求是工程在建立好之后可以在创建卷的过程中自动在volfile中生成相应的xlator，本文将探讨这个问题。
一、volfile简介
二、自动生成volfile添加内容...
分类：
其他好文 时间：
2015-04-24 19:12:07
阅读次数：
304
复制策略是hadoop文件系统最核心的部分，对读写性能影响很大，hadoop和其它分布式文件系统的最大区别就是可以调整冗余数据的位置，这个特性需要很多时间去优化和调整。
一、数据存放
目前hadoop采用以机柜为基础的数据存放策略，这样做的目的是提高数据可靠性和充分利用网络带宽。当前具体实现了的策略只是这个方向的尝试，hadoop短期的研究目标之一就是在实际产品环境中观察系统读写的行为，...
分类：
其他好文 时间：
2015-04-24 16:23:59
阅读次数：
241
# GlusterFS For Ubuntu ## BASE安装 deb://ppa.launchpad.net/gluster/glusterfs-3.5/ubuntu precise main deb-src http://ppa.launchpad.net/gluster/glusterfs-3.5/ubuntu precise main Server# apt-get insta...
分类：
系统相关 时间：
2015-04-21 18:49:29
阅读次数：
206
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访...
分类：
其他好文 时间：
2015-04-20 00:17:10
阅读次数：
218
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thro...
分类：
其他好文 时间：
2015-04-19 18:00:31
阅读次数：
108
