1、背景FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是 http://code.google.com/p/fastdfs 。可以通过fastdfs.sourceforge.net 下载。FastDF...
官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Had...
分类：
其他好文 时间：
2014-11-30 06:23:02
阅读次数：
164
最近研究了一下淘宝的分布式文件系统TFS（Taobao file system）。TFS（taobao file system）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bit Linux OS上...
分类：
Web程序 时间：
2014-11-29 22:58:33
阅读次数：
247
一、glfs_discard_async今天将笔记本从CentOS6.5换到Fedora20,运行qemu-kvm和qemu-img时报出下面这个错误.[root@localhost~]#qemu-kvm
/usr/bin/qemu-system-x86_64:symbollookuperror:/usr/bin/qemu-system-x86_64:undefinedsymbol:glfs_discard_async这是因为缺少glusterfs-d..
分类：
其他好文 时间：
2014-11-29 10:32:52
阅读次数：
239
我用的redhat6.4安装glusterfs直接yum#wget-P/etc/yum.repos.dhttp://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repoServer端安装：#yuminstall-yglusterfsglusterfs-serverglusterfs-fuseClient端安装：#yuminstall-yglusterfsglusterfs-serv..
分类：
其他好文 时间：
2014-11-28 18:32:11
阅读次数：
231
最近在学习glusterfs我使用的是分布式复制策略。两台服务器g1：10.100.15.111g2：10.100.15.112client：10.0.6.149G1\G2没个主机上分别有一个10G硬盘，用于存放在用户数据，分别是挂载/data下。操作步骤如下，操作全部在G1服务器上、并且两天服务器gluster服务器全部启动，通讯..
分类：
其他好文 时间：
2014-11-28 18:26:51
阅读次数：
177
摘要 研究背景： 1. 互联网的图片数据急剧膨胀 2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据 研究内容： 1. Hadoop平台工作原理 2. Hadoop平台下图片存储系统的设计与实现 3. Hadoop平台与Web的整合 创新点： ...
分类：
其他好文 时间：
2014-11-26 20:41:31
阅读次数：
286
1、Google File System概述google file system是一个分布式文件系统，针对的是数据密集型应用，提供容错功能，运行在低廉的服务器上，同时给大量的用户提供高性能服务。尽管google file system有着传统的分布式文件系统的目标，但是GFS的开发兼顾观察现在Int...
分类：
其他好文 时间：
2014-11-24 11:49:59
阅读次数：
156
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
和分布式文件系统和NoSQL数据库相比而言，spark集群的安装配置还算是比较简单的...
分类：
其他好文 时间：
2014-11-22 23:09:26
阅读次数：
287
