官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Had...
分类：
其他好文 时间：
2014-11-30 06:23:02
阅读次数：
164
最近研究了一下淘宝的分布式文件系统TFS（Taobao file system）。TFS（taobao file system）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bit Linux OS上...
分类：
Web程序 时间：
2014-11-29 22:58:33
阅读次数：
247
摘要 研究背景： 1. 互联网的图片数据急剧膨胀 2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据 研究内容： 1. Hadoop平台工作原理 2. Hadoop平台下图片存储系统的设计与实现 3. Hadoop平台与Web的整合 创新点： ...
分类：
其他好文 时间：
2014-11-26 20:41:31
阅读次数：
286
1、Google File System概述google file system是一个分布式文件系统，针对的是数据密集型应用，提供容错功能，运行在低廉的服务器上，同时给大量的用户提供高性能服务。尽管google file system有着传统的分布式文件系统的目标，但是GFS的开发兼顾观察现在Int...
分类：
其他好文 时间：
2014-11-24 11:49:59
阅读次数：
156
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
和分布式文件系统和NoSQL数据库相比而言，spark集群的安装配置还算是比较简单的...
分类：
其他好文 时间：
2014-11-22 23:09:26
阅读次数：
287
Hadoop分布式文件系统分为三部分：ClientNode，NameNode,DataNode(n个)，之间通过TCP/IP进行通信。
CN：1.提供给客户接口，向NN发送读写等命令
2.根据NN提供的信息，向多个DN中写入，或从中读取。
NN：1.管理文件系统的名字空间
2.管理CN对文件的访问
DN：负责管理节点的文件存储
Operation：
Read：1.CN向NN发送读取文...
分类：
其他好文 时间：
2014-11-21 12:45:02
阅读次数：
225
FastDFS安装 FastDFS是一个国产开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服务,如相册网站、视频网站等等.FastDFS服务端有两个角色:跟踪器(track.....
分类：
其他好文 时间：
2014-11-19 20:05:01
阅读次数：
145
FastDFS是为互联网应用量身定做的一套分布式文件存储系统，非常适合用来存储用户图片、视频、文档等文件。对于互联网应用，和其他分布式文件系统相比，优势非常明显。具体情况大家可以看相关的介绍文档，包括FastDFS介绍PPT等等。出于简洁考虑，FastDFS没有对文件做分块存储，因此不太适合分布式计...
分类：
其他好文 时间：
2014-11-19 18:14:25
阅读次数：
218
第一部分FastDFS介绍1.FastDFS是什么FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及...
分类：
其他好文 时间：
2014-11-19 17:53:17
阅读次数：
349
