分片的一些概念与细节Primary Shard在Replica set中有Primary和Secondary的概念，那么在Sharding中其实也有一个Primary的概念。
任何一个mongoDB中都有一个未分区的整体DB的collection在某一个Shard中。如下图。
Collection1在ShardA中有一部分Chunks在ShardB中也有一部分Shards，而在ShardA...
分类：
数据库 时间：
2015-03-05 23:49:19
阅读次数：
385
1、用于map的输入，先将输入数据切分成相等的分片，为每一个分片创建一个map worker,这里的切片大小不是随意订的，一般是与HDFS块大小一致，默认是64MB，一个节点上存储输入数据切片的最大size就是HDFS的块大小，当设置的切片size大于HDFS块大小，会引起节点之间的传输，占用带宽。...
分类：
其他好文 时间：
2015-03-03 21:58:56
阅读次数：
138
ElasticSearch 集群首先看下ElasticSearch（ES）的架构：术语解释：cluster：代表一个集群，集群中有多个节点，其中有一个master节点，master通过选举自动产生；shards：代表索引分片，ES可以把一个完整的索引分成多个分片，并将它们分布到不同的节点上，从而构成...
分类：
其他好文 时间：
2015-03-03 20:29:06
阅读次数：
196
3.3 分片底衬仓库（TiledBackingStore）的可见区域矩形
如下图所示，WebCore::Frame::tiledBackingStoreVisibleRect最终请求QGraphicsWebView给出可见区域:
3.4 使分片底衬仓库无效
如果frame内容所在的矩形变脏了，WebCore::Frame会使这个矩形变成无效区域，同时告诉分片...
分类：
其他好文 时间：
2015-03-03 13:38:09
阅读次数：
132
3.Qt WebKit之QGraphicsWebView
本节叙述如何通过Qt的QGraphicsWebView实现分片底衬存储区（tiled
backing store）。
如上静态类图所示，只有实现了分片底衬存储区客户端（TiledBackingStoreClient）的接口的WebCore::Frame才拥有分片底衬存储区实例。其他类只能通过WebCore::Fra...
分类：
其他好文 时间：
2015-03-03 11:40:08
阅读次数：
170
为何需要水平分片1 减少单机请求数，将单机负载，提高总负载2 减少单机的存储空间，提高总存空间。下图一目了然：mongodb sharding 服务器架构简单注解：1 mongos 路由进程， 应用程序接入mongos再查询到具体分片。2 config server 路由表服务。 每一台都具有全部c...
分类：
数据库 时间：
2015-03-02 12:54:09
阅读次数：
243
前期对分片分段概念有点不清晰，看到一篇好文，mark本文转自：http://blog.csdn.net/keyouan2008/archive/2010/08/27/5843388.aspx1，MTU（Maximum Transmission Unit，MTU），最大传输单元（1）以太网和802.3...
分类：
其他好文 时间：
2015-03-01 13:07:32
阅读次数：
169
本文主要介绍在一台win7电脑上模拟mongo分片。如果有多台服务器，可以将每个mongo部署在单台电脑上。我们将配置3个mongo分片，3个配置服务器，1个路由服务器。如下图所示进行配置，介绍如何增加分片、移除分片。 一．下载windows zip版本，解压到一个目录中，并且复制7份，命名如...
分类：
数据库 时间：
2015-02-25 22:17:14
阅读次数：
188
大数据量、高并发数据库的高性能、高可用性解决方案：1.拆表：大表拆小表（垂直拆，水平拆；分表，分区partition，分片sharding），可以在应用层实现，也可以在数据库层面实现一部分；提高系统性能。2.分库：把表放到不同的数据库，这也是分布式数据库的基础；提高系统性能。3...
分类：
数据库 时间：
2015-02-24 13:57:20
阅读次数：
190
在旧版本的samples中，使用的是旧的api，mapred下面的MultiFileInputFormat,现在已经过时。现在推荐使用mapreduce下面的CombineInputFormat来处理。应用场景： 如果文件数量大，而且单个文件又比较小，若是使用FileInputFormat进行分片....
分类：
其他好文 时间：
2015-02-23 09:36:52
阅读次数：
190
