??
2012年数据库技术大会演讲PPT打包
DB2 Overview of Disaster Recovery Options.pdf:
http://www.t00y.com/file/76767890
DB2锁问题处理最佳实践.pdf:
http://www.t00y.com/file/76767892
GOS-MySQL-development.pdf:
ht...
分类:
数据库 时间:
2014-10-31 22:19:55
阅读次数:
170
大数据日知录:架构与算法
跳转至:
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类:
编程语言 时间:
2014-10-27 21:24:29
阅读次数:
341
文件系统中metadata是一个关键元素,每一个分布式文件系统的核心所在就是mds的设计。类似HDFS,Clustre,FastDFS等等分布式文件系统采用的是独立的mds架构,Ceph采用的是讲mds也分布开的设计架构,Gluster的设计是将metadata跟数据文件结合方式来存储,基本上只存跟本地文件有..
分类:
其他好文 时间:
2014-10-24 16:48:38
阅读次数:
1220
sqoop是hadoop项目中一个插件,可以把分布式文件系统hdfs中内容导入到mysql指定表里面,也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明:hadoop版本:hadoop-0.20.2sqoop版本:sqoop-1.2.0-CDH3B4java版本:jdk1.7.0_67mysql版本:5.1.65特别说明:因为我..
分类:
其他好文 时间:
2014-10-22 18:31:34
阅读次数:
345
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。Hadoop提供了一个文件系统接口和多个分布式文件系统实现,其中比较重要的就是HDFS(Hadoop Distributed Filesystem)了。Hadoop是一个综合性的文件系统抽象,因此它也可以集成其他文件系统的实现,如本地文件系统和Amazon S3系统及淘宝 TFS等。概念模型...
分类:
其他好文 时间:
2014-10-20 10:00:53
阅读次数:
281
HBase通常安装在Hadoop HDFS上,但也可以安装在其他实现了Hadoop文件接口的分布式文件系统上,如KFS。glusterfs是一个集群文件系统可扩展到几peta-bytes。它集合了各种存储在infiniband rdma或互连成一个大型并行网络文件系统。存储可以由任何商品等硬件x86_64服务器和sata-ii和infiniband HBA。GlusterFS比Hadoop HDFS可以提供更高的性能,HBase也因此可以获得更高的性能。将HBase安装在GlusterFS上,是可行的。该方...
分类:
系统相关 时间:
2014-10-19 23:22:18
阅读次数:
372
KASS分布式文件系统(Kass File System),简称KFS,是开始公司自主研发的分布式文件存储服务平台。KFS系统架构及功能服务类似Hadoop/GFS/DFS,它通过HTTP-WEB为上层应用系统(KASS文档管理系统及各种其他应用系统)提供底层文件存储服务,搭建企业私有云存储服务平台...
分类:
其他好文 时间:
2014-10-19 18:35:04
阅读次数:
328
学习云计算,必然得了解Hadoop,而Hadoop中的HDFS(分布式文件系统)是一个基础,接下来就写一下我所理解的HDFS。 有一个很有特别的村庄,村庄里面有一个很牛逼的人,叫做“大哥”,村民们都信得过他,于是会把自己家的粮食、农具等等各种各样的东西“打包成一个大的包裹”让“大哥”给存着,等...
分类:
其他好文 时间:
2014-10-18 11:01:31
阅读次数:
255
Hadoop分布式文件系统是设计初衷是可靠的存储大数据集,并且使应用程序高带宽的流式处理存储的大数据集。在一个成千个server的大集群中,每个server不仅要管理存储的这些数据,而且可以执行应用程序任务。通过分布式存储和在各个server间交叉运算,集群和存储可以按需动态经济增长。以下的设计原则...
分类:
其他好文 时间:
2014-10-17 06:42:33
阅读次数:
235
一、Tachyon介绍Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的Jobs/Queries以及框架都能内存的速度来访..
分类:
其他好文 时间:
2014-10-14 21:33:59
阅读次数:
638