FastDFS介绍FastDFS服务有三个角色:跟踪服务器(trackerserver)、存储服务器(storageserver)和客户端(client)trackerserver:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的storageserver和group,每个storage在启动后会连接Tracker,告知自己所属group等..
分类:
其他好文 时间:
2015-05-29 06:18:54
阅读次数:
413
HBase数据的导入导出
1、导出:
hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 导出存放路径
其中数据文件位置可为本地文件目录,也可以分布式文件系统hdfs的路径。
当其为前者时,直接指定即可,也可以加前缀file:///
而当其为后者时,必须明确指明hdfs的路径,例如hdfs://192.168.1.20...
分类:
其他好文 时间:
2015-05-28 09:34:40
阅读次数:
301
MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色:1、管理服务器managingserver(master)2、元数据日志服务器(备份服务器)Metaloggerserver(Metalogger)3、数据存储服务器dataservers(chunkservers)4、客户机挂载使用clientcomputers1、管理服务器:负责..
分类:
其他好文 时间:
2015-05-26 19:07:22
阅读次数:
275
Apache Hadoop项目的目前版本(2.0版)含有以下模块:Hadoop通用模块:支持其他Hadoop模块的通用工具集。Hadoop分布式文件系统(HDFS):支持对应用数据高吞吐量访问的分布式文件系统。Hadoop YARN:用于作业调度和集群资源管理的框架。Hadoop MapReduce...
分类:
其他好文 时间:
2015-05-26 15:59:35
阅读次数:
140
Ceph集群简介:ceph生态系统架构可以划分为四部分:1.clients:客户端(数据用户)2.cmds:元数据服务器(缓存和同步分布式元数据)3.cosd:对象存储集群(将数据和元数据作为对象存储)4.cmon:集群监视器CephFS文件系统客户端挂载有两种模式:Ceph-fuse挂载和内核驱动模块挂载,Ceph-..
分类:
其他好文 时间:
2015-05-25 20:33:05
阅读次数:
208
分布式存储系统MFSMFS文件系统主要应用是,提供一个高效,冗余的共享存储平台MFS的网络组成有三部分:masterserverchunkserver和client;其中masterserver只有一个,而chunkserver和client可以有多个。整个文件系统包含4种角色1.管理服务器masterserver有时也称为元数据服务器..
分类:
其他好文 时间:
2015-05-25 20:30:25
阅读次数:
197
一、Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架
二、HDFS的架构
主从结构
? 主节点,只有一个: namenode? 从节点,有很多个: datanodes? namenode负责:? 接收用户操作请求? 维护文件系统的目录结构? 管理文...
分类:
其他好文 时间:
2015-05-24 12:59:35
阅读次数:
211
fastdfs配置服务器环境fastdfs-trackerd192.168.32.128fastdfs-storage192.168.32.129分别在两个服务器上面安装好fastdfs服务1.安装依赖yuminstallopenssl*-yyuminstallgd-devel-yyuminstallpcre-devel-y2.安装lbeventtarzxvflibevent-1.4.14b-stable.tar.gzcdlibevent-1.4.14b..
分类:
其他好文 时间:
2015-05-23 18:40:05
阅读次数:
145
1参数及默认值$gluster-optionOPTION:DEFAULT_VALUEdiagnostics.brick-log-level:INFOnetwork.tcp-window-size:(null)performance.least-prio-threads:1performance.open-behind:onperformance.enable-least-priority:onnfs.export-volumes:(null)cluster.self-heal-daemon:off..
分类:
其他好文 时间:
2015-05-22 19:39:14
阅读次数:
980
GlusterFS隐藏参数官方说明页(已过时):http://www.gluster.org/documentation/Documenting_the_undocumented/特殊条目option选项以“!”感叹号开始,它们不适合所有的场景,如果你不知你在干嘛,请不要改动。要查看全部隐藏参数,可以查看源代码。隐藏参数在对应的源代码文..
分类:
其他好文 时间:
2015-05-22 19:39:04
阅读次数:
166