两个帖子： 知乎, Quora@严林 推荐的三篇论文1.Sinfonia: A New Paradigm for Building Scalable Distributed Systems，这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘...
分类：
其他好文 时间：
2015-06-02 00:26:22
阅读次数：
402
对于hadoop，我也处于了解学习中，参考大量资料，现在同大家分享下学习内容。
Hadoop 是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞
吐量的数据访问，适合存...
分类：
其他好文 时间：
2015-05-31 09:19:53
阅读次数：
129
FastDFS介绍FastDFS服务有三个角色：跟踪服务器（trackerserver）、存储服务器（storageserver）和客户端（client）trackerserver：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的storageserver和group，每个storage在启动后会连接Tracker，告知自己所属group等..
分类：
其他好文 时间：
2015-05-29 06:18:54
阅读次数：
413
HBase数据的导入导出
1、导出：
hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 导出存放路径
其中数据文件位置可为本地文件目录，也可以分布式文件系统hdfs的路径。
当其为前者时，直接指定即可，也可以加前缀file:///
而当其为后者时，必须明确指明hdfs的路径，例如hdfs://192.168.1.20...
分类：
其他好文 时间：
2015-05-28 09:34:40
阅读次数：
301
MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：1、管理服务器managingserver(master)2、元数据日志服务器（备份服务器）Metaloggerserver（Metalogger）3、数据存储服务器dataservers(chunkservers)4、客户机挂载使用clientcomputers1、管理服务器:负责..
分类：
其他好文 时间：
2015-05-26 19:07:22
阅读次数：
275
Apache Hadoop项目的目前版本（2.0版）含有以下模块：Hadoop通用模块：支持其他Hadoop模块的通用工具集。Hadoop分布式文件系统（HDFS）：支持对应用数据高吞吐量访问的分布式文件系统。Hadoop YARN：用于作业调度和集群资源管理的框架。Hadoop MapReduce...
分类：
其他好文 时间：
2015-05-26 15:59:35
阅读次数：
140
Ceph集群简介：ceph生态系统架构可以划分为四部分：1.clients:客户端(数据用户)2.cmds:元数据服务器(缓存和同步分布式元数据)3.cosd：对象存储集群(将数据和元数据作为对象存储)4.cmon：集群监视器CephFS文件系统客户端挂载有两种模式：Ceph-fuse挂载和内核驱动模块挂载，Ceph-..
分类：
其他好文 时间：
2015-05-25 20:33:05
阅读次数：
208
分布式存储系统MFSMFS文件系统主要应用是，提供一个高效，冗余的共享存储平台MFS的网络组成有三部分：masterserverchunkserver和client；其中masterserver只有一个，而chunkserver和client可以有多个。整个文件系统包含4种角色1.管理服务器masterserver有时也称为元数据服务器..
分类：
其他好文 时间：
2015-05-25 20:30:25
阅读次数：
197
一、Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架
二、HDFS的架构
主从结构
? 主节点，只有一个: namenode? 从节点，有很多个: datanodes? namenode负责：? 接收用户操作请求? 维护文件系统的目录结构? 管理文...
分类：
其他好文 时间：
2015-05-24 12:59:35
阅读次数：
211
fastdfs配置服务器环境fastdfs-trackerd192.168.32.128fastdfs-storage192.168.32.129分别在两个服务器上面安装好fastdfs服务1.安装依赖yuminstallopenssl*-yyuminstallgd-devel-yyuminstallpcre-devel-y2.安装lbeventtarzxvflibevent-1.4.14b-stable.tar.gzcdlibevent-1.4.14b..
分类：
其他好文 时间：
2015-05-23 18:40:05
阅读次数：
145
