TFS（TaobaoFileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bitLinuxOS上，本文介绍如何在Linux环境编译安装TFS。安装依赖的软件包automakeTFS基于automake工具构..
分类：
Web程序 时间：
2014-11-06 17:52:41
阅读次数：
309
在分布式文件系统HDFS中，DataNode节点被用来存储文件的数据，确切的来说就是HDFS中的每一个文件是分块来存储的，一个文件可能有多个数据块，每一个数据块有多个副本，而且数据块的不同副本存储在不同的DataNode节点上，所以如果把整个HDFS集群看做一台机器的话，那么每一个DataNode节...
分类：
其他好文 时间：
2014-11-03 19:15:01
阅读次数：
229
大数据日知录：架构与算法
跳转至：
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类：
编程语言 时间：
2014-10-27 21:24:29
阅读次数：
341
user --> ha( 双机热备 436) --> lb（ 调度器 ） --> 应用（ www ftp ） --> sql（ mysql pgsql oracle redis ）--> 文件系统（ mfs hdfs ）--> i/o（ ssd ）RHCA 442 413 318虚拟：RHEV op...
分类：
其他好文 时间：
2014-10-25 15:48:54
阅读次数：
602
文件系统中metadata是一个关键元素，每一个分布式文件系统的核心所在就是mds的设计。类似HDFS，Clustre，FastDFS等等分布式文件系统采用的是独立的mds架构，Ceph采用的是讲mds也分布开的设计架构，Gluster的设计是将metadata跟数据文件结合方式来存储，基本上只存跟本地文件有..
分类：
其他好文 时间：
2014-10-24 16:48:38
阅读次数：
1220
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我..
分类：
其他好文 时间：
2014-10-22 18:31:34
阅读次数：
345
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。Hadoop提供了一个文件系统接口和多个分布式文件系统实现，其中比较重要的就是HDFS（Hadoop Distributed Filesystem）了。Hadoop是一个综合性的文件系统抽象，因此它也可以集成其他文件系统的实现，如本地文件系统和Amazon S3系统及淘宝 TFS等。概念模型...
分类：
其他好文 时间：
2014-10-20 10:00:53
阅读次数：
281
HBase通常安装在Hadoop HDFS上，但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上，如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA。GlusterFS比Hadoop HDFS可以提供更高的性能，HBase也因此可以获得更高的性能。将HBase安装在GlusterFS上，是可行的。该方...
分类：
系统相关 时间：
2014-10-19 23:22:18
阅读次数：
372
KASS分布式文件系统(Kass File System)，简称KFS，是开始公司自主研发的分布式文件存储服务平台。KFS系统架构及功能服务类似Hadoop/GFS/DFS，它通过HTTP-WEB为上层应用系统(KASS文档管理系统及各种其他应用系统)提供底层文件存储服务，搭建企业私有云存储服务平台...
分类：
其他好文 时间：
2014-10-19 18:35:04
阅读次数：
328
学习云计算，必然得了解Hadoop，而Hadoop中的HDFS（分布式文件系统）是一个基础，接下来就写一下我所理解的HDFS。 有一个很有特别的村庄，村庄里面有一个很牛逼的人，叫做“大哥”，村民们都信得过他，于是会把自己家的粮食、农具等等各种各样的东西“打包成一个大的包裹”让“大哥”给存着，等...
分类：
其他好文 时间：
2014-10-18 11:01:31
阅读次数：
255
