最近研究了一下淘宝的分布式文件系统TFS（Taobao file system）。TFS（taobao file system）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bit Linux OS上...
分类：
Web程序 时间：
2014-11-29 22:58:33
阅读次数：
247
一.spawn_fastcgi的安装、部署与配置. 1. 下载spawn_fastcgi. https://github.com/lighttpd/spawn-fcgi 这里使用的是1.6.3的版本https://github.com/lighttpd/spawn-fcgi/release...
分类：
Web程序 时间：
2014-11-27 00:12:48
阅读次数：
321
摘要 研究背景： 1. 互联网的图片数据急剧膨胀 2. Hadoop平台下的Hdfs分布式文件系统能够很好的处理海量数据 研究内容： 1. Hadoop平台工作原理 2. Hadoop平台下图片存储系统的设计与实现 3. Hadoop平台与Web的整合 创新点： ...
分类：
其他好文 时间：
2014-11-26 20:41:31
阅读次数：
286
整了几天TFS，把相关的一些配置与安装的要点简单记下，希望对大家有用。本篇主要是安装与配置上的内容，下一篇会介绍如何使用以及使用方面的相关心得体会。本篇内容简要：1. 安装部署1.1. 流程1.2. 安装操作系统服务器建议2G以上内存，500G硬盘空间。必须是windows 2003、windows...
分类：
Web程序 时间：
2014-11-25 12:40:29
阅读次数：
314
Hadoop
Yarn的安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。
三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：
172.20.4.142 yarn-namenode
172.20.4.143 yarn-datanode1
172.20.4.147 yarn-d...
分类：
其他好文 时间：
2014-11-24 20:57:36
阅读次数：
298
1、Google File System概述google file system是一个分布式文件系统，针对的是数据密集型应用，提供容错功能，运行在低廉的服务器上，同时给大量的用户提供高性能服务。尽管google file system有着传统的分布式文件系统的目标，但是GFS的开发兼顾观察现在Int...
分类：
其他好文 时间：
2014-11-24 11:49:59
阅读次数：
156
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
和分布式文件系统和NoSQL数据库相比而言，spark集群的安装配置还算是比较简单的...
分类：
其他好文 时间：
2014-11-22 23:09:26
阅读次数：
287
引言
Oozie是Hadoop生态系统中的工作流控制组件，可以调度MR，Hive，Shell等各类任务，并配置复杂的工作流程。
今天介绍如何安装部署，使用的是单机测试环境。
欢迎转载，请注明来源：
下载解压
下载安装过程需要的相关文件：
oozie4.0.0安装包
http://archive.cloudera.com/cdh5...
分类：
其他好文 时间：
2014-11-21 20:36:49
阅读次数：
346
Hadoop分布式文件系统分为三部分：ClientNode，NameNode,DataNode(n个)，之间通过TCP/IP进行通信。
CN：1.提供给客户接口，向NN发送读写等命令
2.根据NN提供的信息，向多个DN中写入，或从中读取。
NN：1.管理文件系统的名字空间
2.管理CN对文件的访问
DN：负责管理节点的文件存储
Operation：
Read：1.CN向NN发送读取文...
分类：
其他好文 时间：
2014-11-21 12:45:02
阅读次数：
225
