码迷,mamicode.com
首页 >  
搜索关键字:openstack-swift 分布式存储    ( 1014个结果
阵列处理机
阵列处理机: 通过重复设置大量相同的处理单元PE(Processing Element),将它们按一定方式互连成阵列,在单一控制部件CU(Control Unit)控制下,对各自所分配的不同数据并行执行同一组指令规定的操作。是操作级并行的SIMD计算机(SIMD指的是单指令流多数据流,是一种实现数据级并行的技术)。 阵列处理机的构形: 分布式存储器的阵列处理机构形集中式共...
分类:其他好文   时间:2014-06-14 15:05:57    阅读次数:308
HDFS使用
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储 了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:其他好文   时间:2014-06-10 12:40:13    阅读次数:275
Hbase入门
Hbase简介 Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。 类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:其他好文   时间:2014-06-08 18:24:32    阅读次数:563
Linux # 部署OpenStack Swift 开发环境
blog.csdn.net/lzueclipse/article/details/26405753#1536434-qzone-1-61807-cac534f6a16e831f54c45c717ec6acf9部署OpenStack Swift 开发环境--SAIO - Swift All In On...
分类:系统相关   时间:2014-06-07 20:16:59    阅读次数:419
hadoop的核心思想【转】
【转自】:http://www.superwu.cn/2014/01/10/963/1.1.1. hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不...
分类:其他好文   时间:2014-05-29 01:24:12    阅读次数:284
OpenStack_Swift源码分析——Ring的rebalance算法源代码详细分析
1 Command类中的rebalnace方法 在上篇文章中讲解了,创建Ring已经为Ring添加设备,在添加设备后需要对Ring进行平衡,平衡 swift-ring-builder object.builder rebalance 首先会调用swift/cli/ringbuilder.py中方法,在main方法中首先会判读/etc/swift文件夹下是否有object.builder文...
分类:其他好文   时间:2014-05-25 00:41:43    阅读次数:359
OpenStack_Swift源码分析——创建Ring及添加设备源码详细分析
1 创建Ring 代码详细分析 在OpenStack_Swift——Ring组织架构中我们详细分析了Ring的具体工作过程,下面就Ring中增加设备,删除设备,已经重新平衡的实现过程作详细的介绍。 首先看RingBuilder类 def __init__(self, part_power, replicas, min_part_hours): #why 最大 2**32 ...
分类:其他好文   时间:2014-05-23 01:50:35    阅读次数:406
Web集群实现共享存储的架构演变及MogileFS
本篇博客从Web集群中亟需解决的大容量存储问题引入,分析了几类常用的共享存储架构,重点解析了分布式存储系统的原理及配置实现;===================================================================1共享存储的架构演变2分布式存储系统2.1基础知识2.2分类2.3CAP理论2.4协议..
分类:Web程序   时间:2014-05-20 21:42:00    阅读次数:862
OpenStack_Swift源码分析——Object-auditor源码分析(2)
1 Object-aduitor审计具体分析 上一篇文章中,讲解了Object-aduitor的启动,其中审计的具体执行是AuditorWorker实现的,在run_audit中实例化了AuditorWorker类,并调用audit_all_objects方法,下面看此方法的具体代码实现: def audit_all_objects(self, mode='once', device_dirs...
分类:其他好文   时间:2014-05-18 16:06:57    阅读次数:427
OpenStack_Swift源码分析——Object-auditor源码分析(1)
1 Object-auditor 的启动 Object-auditor的启动和object-replicator的启动过程是一样的,首先是执行启动脚本 swift-init object-auditor start 启动脚本会运行swift源码bin目录下的 if __name__ == '__main__': parser = OptionParser("%prog CONFIG...
分类:其他好文   时间:2014-05-16 02:50:59    阅读次数:332
1014条   上一页 1 ... 98 99 100 101 102 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!