这篇文章不提原理,讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?
官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
分类:
其他好文 时间:
2014-05-22 10:34:39
阅读次数:
288
版权所有: zhe-jiang.he@hp.com 严禁转载!
1.安装插件
准备程序:
eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse)
hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下)
将hadoop-0.20.2-eclipse-plugin.j...
分类:
系统相关 时间:
2014-05-18 07:32:13
阅读次数:
396
FastDFS功能简介:
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。主页地址:http://code.google.c....
分类:
Web程序 时间:
2014-05-15 11:53:04
阅读次数:
604
GlusterFS 源码安装方式:http://blog.csdn.net/wangyuling1234567890/article/details/25519261
1、GlusterFS的典型架构图
2、GlusterFS常用translators(中继)
2.1.1. storage/posix
type storage/posix
storage/po...
分类:
其他好文 时间:
2014-05-15 06:18:18
阅读次数:
381
一、简介1、介绍MogileFS是一个开源的分布式文件系统,用于组建分布式文件集群,由LiveJournal旗下DangaInteractive公司开发,Danga团队开发了包括Memcached、MogileFS、Perlbal等不错的开源项目:(注:Perlbal是一个强大的Perl写的反向代理服务器)2、MogileFS的特性(1)工作..
分类:
其他好文 时间:
2014-05-13 03:31:00
阅读次数:
538
一、分布式文件系统1.简介分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性..
分类:
其他好文 时间:
2014-05-13 01:52:38
阅读次数:
501
一、简介1、分布式文件系统分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,也就是集群文件系统,可以支持大数量的节点以及PB级的数量存储。相对地,在一个分享的磁盘文件系统中,所有节点..
分类:
其他好文 时间:
2014-05-13 01:09:26
阅读次数:
478
MogileFS是一套高效的文件自动备份组件,由SixApart开发,广泛应用在包括LiveJournal等web2.0站点上。MogileFS由3个部分组成:第1个部分:是server端,包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker,它将一些全局信息保存在数据库里,例如站点domain,class,h..
分类:
其他好文 时间:
2014-05-11 19:38:37
阅读次数:
571
大纲:一、关于MogileFS二、常见分布式文件系统三、MogileFS基本原理四、MogileFS的实现一、关于MogileFS当下我们处在一个互联网飞速发展的信息社会,在海量并发连接的驱动下每天所产生的数据量必然以几何方式增长,随着信息连接方式日益多样化,数据存储的结构也随着发生了变..
分类:
其他好文 时间:
2014-05-11 19:28:18
阅读次数:
570