一:CEPH简介OSDs:Ceph的OSD守护进程(OSD)存储数据,处理数据复制,恢复,回填,重新调整,并通过检查其它CephOSD守护程序作为一个心跳向Ceph的监视器报告一些检测信息。Ceph的存储集群需要至少2个OSD守护进程来保持一个active+clean状态.(Ceph默认制作2个备份,但你可以调..
分类:
其他好文 时间:
2015-07-02 01:21:46
阅读次数:
479
动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。 大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层....
分类:
Web程序 时间:
2015-06-30 17:49:15
阅读次数:
170
一、简介Hive是基于hadoop的一个数据仓库工具,有助于查询和管理分布式存储系统中的数据集,非常适合数据仓库的统计分析Hive 不适合用于连机事物处理、也不提供实时查询,比较适合在大量不可变数据的批处理作业。二、下载与安装1、下载hive压缩包,并复制到centos系统的/opt/module目...
分类:
其他好文 时间:
2015-06-29 22:04:56
阅读次数:
193
动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统...
分类:
Web程序 时间:
2015-06-28 18:43:42
阅读次数:
152
一、mogilefs简介mogilefs是一种分布式存储(不可挂载,通过API调用或专门客户端)的解决方案,可存储海量图片、静态文件。mogilefs的相关程序是用perl语言编写,元数据存储在关系型数据库中(国内有人用C语言将mogilefs重写的程序叫做FastDFS,后者的元数据是存储在内存中的)..
分类:
其他好文 时间:
2015-06-28 06:32:27
阅读次数:
217
安装配置DRBD定义:DRBD(DistributedReplicatedBlockDevice)分布式块设备复制:是linux内核存储层中的一个分布式存储系统,可利用DRBD在两台linux服务器之间共享块设备,文件系统和数据,类似于一个网络RAID1的功能两台服务器间就算某台服务器出现断电或者宕机也不会对数据有任..
分类:
其他好文 时间:
2015-06-27 00:04:02
阅读次数:
230
Sheepdog,由NTT的3日本研究人员开发的开源项目,主件装备用来提供一个虚拟机。它的建筑,如以下:以下,我们将从架构、模块等几个方面来介绍下:一、架构图如上图:採用无中心节点的全对称架构。无单点故障。存储容量和性能可线性扩展;新增节点通过简单配置可自己主动增加(IP:PORT),数据自己主动实...
分类:
其他好文 时间:
2015-06-23 15:31:30
阅读次数:
109
转自于:http://www.cnblogs.com/shanno/p/3958298.html?utm_source=tuicool数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素:1) 故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险;2) 负载均衡...
分类:
编程语言 时间:
2015-06-19 18:17:32
阅读次数:
190
场景描述:近期需要实现将Windows下TG级别的文档,远程增量备份至分布式存储服务器,于是有了下面的设计:1、采用rsync,经过测试发现文件比较非常耗时,难以快速实现增量备份;2、采用Windows下的小工具FastCopy配合DOS脚本来实现快速增量备份;首先将备份服务器的备份目录自..
分类:
其他好文 时间:
2015-06-19 13:48:43
阅读次数:
1605
简介HBase(Hadoop Database)是一个多版本,高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase利用Hadoop HDFS作为其文件存储系统。提供高可靠,高性能,列存储,可伸缩 ,实时读写,适用于非结构化数据存储的数据库系统。
HBase利用Hadoop MapReduce来处理HBase中的...
分类:
其他好文 时间:
2015-06-17 23:27:29
阅读次数:
407