分布式文件系统MFS(moosefs)实现存储共享作者:田逸(sery@163.com) from: [url]http://net.it168.com/a2009/0403/270/000000270867.shtml[/url]由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群...
分类：
其他好文 时间：
2015-04-09 06:16:44
阅读次数：
173
MFS学习总结MFS概述、特性和新版改进MFS 工作原理和设计架构MFS的安装、部署、配置MFS的高级特性MFS的性能测试MFS集群的维护MFS的常见问题和建议对策一、MFS概述、特性和新版改进MooseFS是一个分布式存储的框架，其具有如下特性：Free(GPL)通用文件系统，不需要修改上层应用就...
分类：
其他好文 时间：
2015-04-09 06:15:08
阅读次数：
241
分布式文件系统MFS(moosefs)实现存储共享(第二版)作者:田逸(sery@163.com)由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群部署（即lvs+keepalived的方式），但仍然有用户反馈访问慢的问题。通过排查个服务器的情况，发现问题的根源在于共享存储服务器N...
分类：
其他好文 时间：
2015-04-09 06:13:58
阅读次数：
238
什么是HDFS? hadoop distributed file system(hadoop分布式文件系统) 是一种允许文件通过网络在多台主机上分享的文件系统, 可让多机器上的多用户分享文件和存储空间. 特点: 1.通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一...
分类：
其他好文 时间：
2015-04-09 06:08:31
阅读次数：
171
原文链接：http://blog.chinaunix.net/uid-20196318-id-3213700.html分布式文件系统主要用于解决海量数据存储的问题，如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础 设施，并在其上构建很多服务，分布式文件系统通常采...
分类：
其他好文 时间：
2015-04-08 22:58:59
阅读次数：
251
MooseFSMooseFS是一种分布式文件系统，其文件系统结构包括以下四种角色：1、管理服务器managingserver(master)2、元数据日志服务器Metaloggerserver（Metalogger）3、数据存储服务器dataservers(chunkservers)4、客户机挂载使用clientcomputers各角色的作用：管理服务器：主要..
分类：
其他好文 时间：
2015-04-08 16:47:50
阅读次数：
139
0. 关于大数据1. Hadoop：事实上的大数据标准3. Hadoop 体系结构HDFS: Hadoop 分布式文件系统HDFS 有着高容错性特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。MapReduce: Hadoop 编程模型，用于大规模数据集（大于1TB）的并行计...
分类：
其他好文 时间：
2015-04-06 11:23:12
阅读次数：
165
Hadoop简介:
分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pi...
分类：
其他好文 时间：
2015-04-05 11:59:31
阅读次数：
234
Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统，而且有几个具体实现，如表 3-1所示。
文件系统
URI
方案
Java实
现(全部在
org.apache.hadoop)
描述
Local
...
分类：
其他好文 时间：
2015-04-03 11:20:26
阅读次数：
116
我们可以把zookeeper看做是一个高可用的分布式文件系统。借助于zookeeper的特性，我们可以很方便的实现分布式的一些服务
其中典型的应用场景有：服务配置、分布式锁和分布式队列。
本节，我会讲解分布式锁的实现。
我们借助于zk的短暂有序节点(EPHEMERAL_SEQUENTIAL)和zk的消息通知机制实现分布式锁。
分布式锁的一般实现算法是：
1、在锁znode节点下创建名为l...
分类：
其他好文 时间：
2015-04-02 11:47:16
阅读次数：
139
