阵列处理机:
通过重复设置大量相同的处理单元PE(Processing Element),将它们按一定方式互连成阵列,在单一控制部件CU(Control Unit)控制下,对各自所分配的不同数据并行执行同一组指令规定的操作。是操作级并行的SIMD计算机(SIMD指的是单指令流多数据流,是一种实现数据级并行的技术)。
阵列处理机的构形:
分布式存储器的阵列处理机构形集中式共...
分类:
其他好文 时间:
2014-06-14 15:05:57
阅读次数:
308
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:
其他好文 时间:
2014-06-10 12:40:13
阅读次数:
275
Hbase简介
Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。
类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:
其他好文 时间:
2014-06-08 18:24:32
阅读次数:
563
blog.csdn.net/lzueclipse/article/details/26405753#1536434-qzone-1-61807-cac534f6a16e831f54c45c717ec6acf9部署OpenStack
Swift 开发环境--SAIO - Swift All In On...
分类:
系统相关 时间:
2014-06-07 20:16:59
阅读次数:
419
【转自】:http://www.superwu.cn/2014/01/10/963/1.1.1.
hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1.
分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不...
分类:
其他好文 时间:
2014-05-29 01:24:12
阅读次数:
284
1 Command类中的rebalnace方法
在上篇文章中讲解了,创建Ring已经为Ring添加设备,在添加设备后需要对Ring进行平衡,平衡
swift-ring-builder object.builder rebalance
首先会调用swift/cli/ringbuilder.py中方法,在main方法中首先会判读/etc/swift文件夹下是否有object.builder文...
分类:
其他好文 时间:
2014-05-25 00:41:43
阅读次数:
359
1 创建Ring 代码详细分析
在OpenStack_Swift——Ring组织架构中我们详细分析了Ring的具体工作过程,下面就Ring中增加设备,删除设备,已经重新平衡的实现过程作详细的介绍。
首先看RingBuilder类 def __init__(self, part_power, replicas, min_part_hours):
#why 最大 2**32
...
分类:
其他好文 时间:
2014-05-23 01:50:35
阅读次数:
406
本篇博客从Web集群中亟需解决的大容量存储问题引入,分析了几类常用的共享存储架构,重点解析了分布式存储系统的原理及配置实现;===================================================================1共享存储的架构演变2分布式存储系统2.1基础知识2.2分类2.3CAP理论2.4协议..
分类:
Web程序 时间:
2014-05-20 21:42:00
阅读次数:
862
1 Object-aduitor审计具体分析
上一篇文章中,讲解了Object-aduitor的启动,其中审计的具体执行是AuditorWorker实现的,在run_audit中实例化了AuditorWorker类,并调用audit_all_objects方法,下面看此方法的具体代码实现:
def audit_all_objects(self, mode='once', device_dirs...
分类:
其他好文 时间:
2014-05-18 16:06:57
阅读次数:
427
1 Object-auditor 的启动
Object-auditor的启动和object-replicator的启动过程是一样的,首先是执行启动脚本
swift-init object-auditor start
启动脚本会运行swift源码bin目录下的
if __name__ == '__main__':
parser = OptionParser("%prog CONFIG...
分类:
其他好文 时间:
2014-05-16 02:50:59
阅读次数:
332