分布式存储系统按照所存储的数据对象不同,分为四类:分布式文件系统(存储图片、音频、视频等非结构化的Blob对象、定长块以及大文件等)、分布式表格系统(存储关系较为复杂的半结构化数据)、分布式键值系统(存储关系简单的半结构化数据)和分布式数据库(存储结构化数据)等。...
分类:
其他好文 时间:
2015-01-31 00:31:16
阅读次数:
176
摘要:Spark是继Hadoop之后的新一代大数据分布式处理框架,由UC Berkeley的Matei Zaharia主导开发。我只能说是神一样的人物造就的神器,详情请猛击http://www.spark-project.org/ Created 2012-05-09 Modified 2012-0...
分类:
其他好文 时间:
2015-01-29 21:05:36
阅读次数:
239
一.复制概述MariaDB/MySQL内建的复制功能是构建大型,高性能应用程序的基矗将MySQL的数据分布到多个系统上去,这种分布的机制,是通过将MySQL的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务..
分类:
数据库 时间:
2015-01-26 10:25:45
阅读次数:
354
一、复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将...
分类:
数据库 时间:
2015-01-25 22:19:32
阅读次数:
302
1、Mysql复制方式:
* 基于行的复制(5.1中引入)
* 基于语句的复制
注:都是通过在主库上记录binlog、在备库上重放日志的方式来实现异步的数据复制的。这意味着,在同一时间点备库上的数据可能与主库存在不一致性,并且无法保证主备之间的延迟。
2、应用场景:
* 数据分布:...
分类:
数据库 时间:
2015-01-23 18:30:41
阅读次数:
257
地统计(克里金法)模型包括多个组成部分:检查数据(分布、趋势、方向组成和异常值),计算经验半变异函数或协方差值,根据经验值拟合模型,生成克里金方程矩阵以及对其进行求解以为输出表面中的每个位置获取预测值及其关联误差(不确定性)。...
分类:
其他好文 时间:
2015-01-21 16:38:42
阅读次数:
289
1. HDFS体系结构 HDFS支持大文件,以流的方式访问数据,数据分布在数据节点(Data Node),文件的元数据保存在名字节点(Name Node)。名字节点的内存大小,决定了HDFS文件系统可保存的文件数量,所以大量小文件会影响名字节点的性能(尽管名字节点内存都较大)。 1.1 数据块Blo...
分类:
其他好文 时间:
2015-01-19 18:52:14
阅读次数:
280
JBOD是存储领域中一类重要的存储设备。 JBOD(Just a Bunch Of Disks,磁盘簇)是在一个底板上安装的带有多个磁盘驱动器的存储设备。通常又称为Span。 和RAID阵列不同,JBOD没有前端逻辑来管理磁盘上的数据分布,相反,每个磁盘进行单独寻址,作为分开的存储资源,或者基于主机软件的一部分,或者是RAID组的一个适配器卡。JBOD 不是标准的RAID级别,它只是在近几年才被一...
分类:
其他好文 时间:
2015-01-19 17:20:43
阅读次数:
444
一、主从复制原理:将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。简单的说:从服务器的IO线程从主服务器..
分类:
数据库 时间:
2015-01-19 16:01:12
阅读次数:
317
1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。主服务器将...
分类:
数据库 时间:
2015-01-16 16:28:43
阅读次数:
293