HDFS(Hadoop Distribute File System)基于谷歌发布的GFS论文呢设计(RPC通信方式) 大文件、流式数据适合、大量小文件、随机写入、低延迟读取不适合。 特点 高容错、高吞吐量、大文件存储 HDFS能做什么 硬件失效 流式数据访问:块方式读取、128M一个块(大文件的读 ...
分类:
其他好文 时间:
2017-10-25 00:47:20
阅读次数:
229
3813: 奇数国 Description 在一片美丽的大陆上有100000个国家,记为1到100000。这里经济发达,有数不尽的账房,并且每个国家有一个银行。某大公司的领袖在这100000个银行开户时都存了3大洋,他惜财如命,因此会不时地派小弟GFS清点一些银行的存款或者让GFS改变某个银行的存款 ...
分类:
其他好文 时间:
2017-10-20 13:22:49
阅读次数:
230
3813: 奇数国 Description 在一片美丽的大陆上有100000个国家,记为1到100000。这里经济发达,有数不尽的账房,并且每个国家有一个银行。某大公司的领袖在这100000个银行开户时都存了3大洋,他惜财如命,因此会不时地派小弟GFS清点一些银行的存款或者让GFS改变某个银行的存款 ...
分类:
其他好文 时间:
2017-10-20 10:08:12
阅读次数:
194
一、Maven坐标 1.1、什么是坐标? 在平面几何中坐标(x,y)可以标识平面中唯一的一点。 1.2、Maven坐标主要组成 groupId:组织标识(包名) artifactId:项目名称 version:项目的当前版本 packaging:项目的打包方式,最为常见的jar和war两种 样例: ...
分类:
其他好文 时间:
2017-10-19 14:57:51
阅读次数:
212
常见的分布式文件系统有,GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
分类:
其他好文 时间:
2017-10-16 12:17:37
阅读次数:
165
TFS是淘宝开源的一套高性能文件存储系统,在阿里广泛应用,除了自建文件系统,在应用上云的大趋势下,还可以使用阿里云的对象存储OSS服务:阿里云对象存储OSS首页 一、关于TFS TFS(Taobao File System)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量 ...
分类:
Web程序 时间:
2017-10-13 19:15:09
阅读次数:
318
一、首先是安装VMWare tools1、以ROOT身份进入LINUX2、在虚拟机软件VMWARE状态栏中,点击 SETTING菜单下的ENABLE VMWARE TOOLS子菜单,此时在linux的/media/下会出现一个新文件夹,把vmware-linux-tools.tar.gz(具体名字已 ...
分类:
系统相关 时间:
2017-09-30 10:09:42
阅读次数:
245
Overview 是不是感觉看了这篇 Paxos算法 感觉完全没看懂?2333我也是 之前Paxos算法在工程实现的过程中,会遇到非常多的问题。 Chubby Google Chubby是一个大名鼎鼎的分布式锁服务 GFS和Big Table等大型系统都用它来解决分布式协作、元数据存储和Master ...
分类:
其他好文 时间:
2017-09-09 12:57:02
阅读次数:
212
1. MapReduce 与 HDFS 简介 什么是 Hadoop ? Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System,并发布了相关论文(可在 Google Research 的网站上获得:GFS、MapReduce)。Dou ...
分类:
其他好文 时间:
2017-09-05 00:18:37
阅读次数:
167