复制概述mysql内建的复制功能是构建大规模、高性能应用的基础。复制解决的基本问题是让一台服务器的数据与其他的服务器同步,以主备的方式构建数据系统。常见用途数据分布:在不同的地理位置分布数据,进行备份。负载均衡:将读操作分布到多个服务器上(使用dns轮询或lvs)备份:是传统备份的补充,不能完全替代...
分类:
数据库 时间:
2015-09-04 16:56:13
阅读次数:
292
1.1 Java是一种通过解释方式来执行的语言,同时也是一种跨平台的程序设计语言;Java语言编写的程序既是编译型的,又是解释型的。1.2 Java语言的特性: 1、简单:语法简单 2、面向对象:万物皆对象 3、分布性:包括操作分布和数据分布 4、可移植性 5、安全性 6、健壮性 8、多线程 9、高...
分类:
编程语言 时间:
2015-08-31 01:05:07
阅读次数:
142
1.离解数据与离散分布 离解数据通常是那些只能用整数表现的数据。比如某省的人口数,宇宙中单位体积内的星球个数等。1.1统计中常见的描述离散型数据的离散分布: 1.退化分布:一个随机变量X以概率1取某一常数,即P{X=a}=1,则称X服从a处的退化分布。确定分布。 2.两点分布:一个随机变量只有两.....
分类:
其他好文 时间:
2015-08-29 23:15:43
阅读次数:
410
一、序言近几个月一直从事一个分布式异步通信系统,今天就整理并blog一下.这是一个全国性的通信平台,对性能,海量数据,容错性以及扩展性有非常高的要求,所以在系统的架构上就不能简单的采用集中式.简单的总结一下就是: 1.数据分布式存储 2.请求分布式调度 3.多结点分布式部署 4.双重...
分类:
编程语言 时间:
2015-08-21 21:11:48
阅读次数:
188
分布式存储是相对于单机存储而言,之所以要分布自然是因为互联网时代信息数据大爆炸,单机已经难以满足大型应用的数据存储需求。存储系统的关注点关于存储系统,一般我们关注下面几个方面:
数据分布与负载均衡
数据存储的可靠性与一致性
数据访问性能
系统容错能力
系统扩展能力
在单机存储系统中有一种独立磁盘冗余阵列(RAID,redundant array of independent...
分类:
其他好文 时间:
2015-08-20 18:57:15
阅读次数:
200
课程内容
Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)
Spark修炼之道(进阶篇)——Spark入门到精通(30讲)
Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)
Spark修炼之道(高级篇)——Spark源码解析(50讲)
部分内容会在实际编写时动态调整,或补充、或删除。Spark修炼之道(基础篇)——Linux大数据开发基础(15讲...
分类:
其他好文 时间:
2015-08-19 20:25:26
阅读次数:
720
摘要
我们开发了 Ceph,一种分布式文件系统。该文件系统提供极佳的性能,可靠性以及扩展性。通过专为不可靠的对象存储设备(Object Storage Device,OSDs)所组成的异构、动态集群而设计的准随机数据分配算法(CRUSH),利用其替代文件分配表,Ceph 将数据与元数据进行了最大程度地分离。通过将数据分布,失效检测恢复指定给运行特殊本地对象文件系统的半自动化的OSDs的方式来使设...
分类:
其他好文 时间:
2015-08-18 19:29:38
阅读次数:
239
1,对于待存储的海量数据,如何将它们分配到各个机器中去?---数据分片与路由当数据量很大时,通过改善单机硬件资源的纵向扩充方式来存储数据变得越来越不适用,而通过增加机器数目来获得水平横向扩展的方式则越来越流行。因此,就有个问题,如何将这些海量的数据分配到各个机器中?数据分布存储之后,又如何进行查找?...
分类:
编程语言 时间:
2015-08-17 21:41:08
阅读次数:
303
1.什么是峰度与偏度?峰度(kurtosis)是描述分布形态的陡缓程度。表征概率密度函数分布曲线在平均值处峰值高低的特征数。用bk表示。直观看来,峰度反映了数据尾部厚度。在相同的标准差下,峰度系数越大,分布就有更多的极端值,那么其余值必然要更加集中在众数周围,其分布必然就更加陡峭。偏度(skewne...
分类:
其他好文 时间:
2015-08-17 13:56:48
阅读次数:
229
转自:http://www.uml.org.cn/sjjm/201507284.asp1 文档说明研究分布式文件系统时间也不短了,接触过的文件系统也不少,趁着这2014到来之际,花点时间用来总结总结。接触过的文件系统有glusterfs、moosefs、lustre及hdfs等,其架构简单顺带解说一...
分类:
其他好文 时间:
2015-08-10 17:30:53
阅读次数:
202