HDFS：分布式文件系统 MapReduce：分布式计算框架 Sqoop：数据库ETL工具 Flume：日志收集工具 Mahout：数据挖掘库 Hive：数据仓库 Pig：数据流处理 HBase：实时分布式数据库 Zookeeper：分布式协作服务 ...
分类：
其他好文 时间：
2016-07-01 20:14:23
阅读次数：
166
从官方解释来看，innodb_support_xa的作用是分两类： 第一，支持多实例分布式事务（外部xa事务），这个一般在分布式数据库环境中用得较多。 第二，支持内部xa事务，说白了也就是说支持binlog与innodb redo log之间数据一致性。 今天的重点是讨论第二类内部xa事务。 首先我 ...
分类：
数据库 时间：
2016-06-30 12:33:38
阅读次数：
145
Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法。Paxos算法解决的问题是一个分布式系统如何就某个值（决议）达成一致。在工程实践意义上来说，就是可以通过Paxos实现多副本一致性，分布式锁，名字管理，序列号分配等。比如，在一个分布式数据库系 ...
分类：
编程语言 时间：
2016-06-27 10:36:14
阅读次数：
187
大型互联网技术架构4－分布式存储-II; 分布式文件系统 － Google GFS; 分布式键值系统－ Alibaba Tair;分布式表格系统－ Google BigTable /Megastore;分布式数据库系统－Google Spanner / F1...
分类：
其他好文 时间：
2016-06-27 09:11:36
阅读次数：
501
一、分布式数据库系统的设计
1.分片设计
在分布式数据库系统设计中，最基本的问题就是数据的分布问题，即如何对全局数据进行逻辑划分和实际的物理分配。逻辑划分成为分片，实际的物理分配则是分配内容。一般的设计策略我们有自顶向下和自底向上的两种形式。自顶向下有利于理解新鲜事物的内容，从最顶层，由最高点的抽象，逐层抽丝剥茧到最小单元。而自底向上则不同，是在理解事物的基础上，改进底层，逐渐由底层到顶层...
分类：
数据库 时间：
2016-06-24 15:02:14
阅读次数：
225
Redis集群是Redis提供的分布式数据库方案，通过分片来进行数据共享，并提供复制和故障转移功能。
一：初始化
1：数据结构
在源码中，通过server.cluster记录整个集群当前的状态，比如集群中的所有节点；集群目前的状态，比如是上线还是下线；集群当前的纪元等等。该属性是一个clusterState类型的结构体。该结构体的定义如下：typedef struct...
分类：
其他好文 时间：
2016-06-21 06:59:41
阅读次数：
1129
我使用三台SQL Server 2012 搭建分布式数据库，将一年的1.4亿条数据大致均匀存储在这三台Server中，每台Server 存储4个月的数据，Physical Server的配置基本相同，内存16G，双核 CPU 3.6GHz。 1，创建的分区视图，Linked Server的Alias ...
分类：
数据库 时间：
2016-06-19 19:54:19
阅读次数：
221
创建水平分布式数据库，需要分两步实现：划分子集和对子集进行并集操作。分布式数据库的优势是：IO分散，便于快速读取数据，劣势是消耗大量的网络带宽资源。 划分子集是将原始表水平切分成若干个较小的成员表，每一个成员表都是全集的一个划分（各子集的并集是全集，其交集是空集）。每个成员表包含与原始表相同数量的列 ...
分类：
数据库 时间：
2016-06-19 01:13:11
阅读次数：
386
一直听说过分布式由于找工作需要所以学习，都知道有分布式集群(Hdoop)、分布式存储(GFS,NFS)、分布式数据库(Hbase,redis,memcaced)、分布式系统、分布式软件等，今天开始后续的学习。分布式就是分开了、分散了、比如数据处理(北京搞北京、天津搞天津)，比如集群(一个人干一件事..
分类：
其他好文 时间：
2016-06-14 06:31:53
阅读次数：
213
DNS是什么DNS:DomainNameSystem,域名系统DNS作为域名和IP地址相互映射的一个分布式数据库，能够让用户更方便的访问互联网。它的正向映射是把一个主机和IP地址关联起来，它的反向映射则是IP地址到主机名。DNS使用TCP和UDP的53号端口。当前，对于每一级域名长度的限制是63个字符..
分类：
其他好文 时间：
2016-06-12 23:44:36
阅读次数：
456
