码迷,mamicode.com
首页 >  
搜索关键字:分布式存储    ( 969个结果
Openstack能解决这些问题吗?请各位大侠一起来讨论
Openstack能解决这些问题吗?请各位大侠一起来讨论 1、10万规模的虚拟机,每个虚拟机可以在任何一个CNA上启动,该如何做?2、用户如何自定义业务网络,如何解决网络不够用的情况? 3、统一的镜像管理:多站点该如何做?4、分布式存储在跨AZ/Region情况下怎么设计,如何遵循NWR原则?...
分类:其他好文   时间:2014-05-15 23:29:26    阅读次数:300
基于柯西矩阵的Erasure Code技术详解
一、概述ErasureCode可以应用于分布式存储系统中,替代多份数据拷贝的数据冗余方式,从而可以提高存储空间利用率。此外,Erasurecode还可以应用于传统RAID系统中,增加数据冗余度,支持多块盘同时发生故障,从而可以提高数据可靠性。采用范德蒙矩阵可以构建Erasurecode(关于范..
分类:其他好文   时间:2014-05-13 12:06:40    阅读次数:648
海量图片存储--MogileFS分布式存储集群的实现
分布式存储当下互联网飞速发展,海量并发所产生的数据量以几何方式增长,随着信息链接方式日益多样化,数据存储的结构也发生了变化,在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战,比如:数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类:其他好文   时间:2014-05-12 04:08:32    阅读次数:493
CentOS 6.5 分布式文件系统之MogileFS工作原理及实现过程
MogileFS是一套高效的文件自动备份组件,由SixApart开发,广泛应用在包括LiveJournal等web2.0站点上。MogileFS由3个部分组成:第1个部分:是server端,包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker,它将一些全局信息保存在数据库里,例如站点domain,class,h..
分类:其他好文   时间:2014-05-11 19:38:37    阅读次数:571
Hadoop学习:Map/Reduce初探与小Demo实现
一、    概念知识介绍         Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题,可以使没有并行 处理或者分布式计算经验的工程师,也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。        Hadoop MapReduce基于“分而治之”的思想,将计算任务...
分类:其他好文   时间:2014-05-10 04:39:09    阅读次数:570
Hadoop之HDFS
摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词:Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File S....
分类:其他好文   时间:2014-05-08 23:38:42    阅读次数:412
试用分布式存储MooseFS
服务器分布:概述:MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色:1、管理服务器managingserver(master)2、元数据日志服务器Metaloggerserver(Metalogger)3、数据存储服务器dataservers(chunkservers)4、客户机挂载使用clientcomputers角色描述:1..
分类:其他好文   时间:2014-05-02 08:10:13    阅读次数:458
hadoop技术基本架构
一、Hadoop概述 hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系 统之上,对存储在分布式文件系统中的数据进行分布式计算。 2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单...
分类:其他好文   时间:2014-05-01 18:34:41    阅读次数:382
969条   上一页 1 ... 95 96 97
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!