码迷,mamicode.com
首页 >  
搜索关键字:openstack-swift 分布式存储    ( 1014个结果
Openstack能解决这些问题吗?请各位大侠一起来讨论
Openstack能解决这些问题吗?请各位大侠一起来讨论 1、10万规模的虚拟机,每个虚拟机可以在任何一个CNA上启动,该如何做?2、用户如何自定义业务网络,如何解决网络不够用的情况? 3、统一的镜像管理:多站点该如何做?4、分布式存储在跨AZ/Region情况下怎么设计,如何遵循NWR原则?...
分类:其他好文   时间:2014-05-15 23:29:26    阅读次数:300
OpenStack_Swift源码分析——ObjectReplicator源码分析(2)
1、Replicator执行代码详细分析 上篇问中介绍了启动Replicator的具体过程,下面具体讲解Replicator的执行代码的具体实现: def replicate(self, override_devices=None, override_partitions=None): """Run a replication pass""" sel...
分类:其他好文   时间:2014-05-15 00:15:16    阅读次数:458
OpenStack_Swift源码分析——ObjectReplicator源码分析(1)
1、ObjectorReplicator的启动 首先运行启动脚本 swift-init object-replicator start此运行脚本的运行过程和ring运行脚本运行过程差不多,找到swift 源码bin下的swift-object-replicator其代码如下所示 if __name__ == '__main__': parser = OptionParser("%pr...
分类:其他好文   时间:2014-05-15 00:08:27    阅读次数:332
OpenStack_Swift源码分析——Ring基本原理及一致性Hash算法
1、Ring的基本概念 Ring是swfit中最重要的组件,用于记录存储对象与物理位置之间的映射关系,当用户需要对Account、Container、Object操作时,就需要查询对应的Ring文件(Account、Container、Object都有自己对应的Ring),Ring 使用Region(最近几个版本中新加入的)、Zone、Device、Partition和Replica来维护这些信...
分类:其他好文   时间:2014-05-14 15:22:15    阅读次数:1213
基于柯西矩阵的Erasure Code技术详解
一、概述ErasureCode可以应用于分布式存储系统中,替代多份数据拷贝的数据冗余方式,从而可以提高存储空间利用率。此外,Erasurecode还可以应用于传统RAID系统中,增加数据冗余度,支持多块盘同时发生故障,从而可以提高数据可靠性。采用范德蒙矩阵可以构建Erasurecode(关于范..
分类:其他好文   时间:2014-05-13 12:06:40    阅读次数:648
海量图片存储--MogileFS分布式存储集群的实现
分布式存储当下互联网飞速发展,海量并发所产生的数据量以几何方式增长,随着信息链接方式日益多样化,数据存储的结构也发生了变化,在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战,比如:数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类:其他好文   时间:2014-05-12 04:08:32    阅读次数:493
CentOS 6.5 分布式文件系统之MogileFS工作原理及实现过程
MogileFS是一套高效的文件自动备份组件,由SixApart开发,广泛应用在包括LiveJournal等web2.0站点上。MogileFS由3个部分组成:第1个部分:是server端,包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker,它将一些全局信息保存在数据库里,例如站点domain,class,h..
分类:其他好文   时间:2014-05-11 19:38:37    阅读次数:571
Hadoop学习:Map/Reduce初探与小Demo实现
一、    概念知识介绍         Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题,可以使没有并行 处理或者分布式计算经验的工程师,也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。        Hadoop MapReduce基于“分而治之”的思想,将计算任务...
分类:其他好文   时间:2014-05-10 04:39:09    阅读次数:570
Hadoop之HDFS
摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词:Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File S....
分类:其他好文   时间:2014-05-08 23:38:42    阅读次数:412
1014条   上一页 1 ... 99 100 101 102 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!