一、部署软件pc1、pc2、pc3分别安装mongodb，操作如下：[root@pc1~]#tail/etc/security/limits.confmongodsoftnproc40000*hardnofile1000000*softnofile1000000*softcoreunlimited*softstack10240*-nofile65535push-nproc65535push-nofile320000work-nproc10000[root@pc1~]#tai..
分类：
数据库 时间：
2016-07-01 16:34:10
阅读次数：
282
1. 背景 Block Replica Placement——数据块复本存储策略，HDFS Namenode以此为依据选取数据块复本应存储至哪些HDFS Datanodes，策略的设计需要权衡以下三个因素： 可靠性 写带宽 读带宽 注：本文均以数据块复本因子为3来讨论。 我们以两个比较极端的例子来说 ...
分类：
其他好文 时间：
2016-06-29 20:38:03
阅读次数：
1092
一、环境信息CentOSrelease6.7(Final)mongoversion:3.2.6192.168.1.173primary192.168.1.174secondary192.168.1.172secondaryorarbiter二、安装mongo1、yum源配置（使用哪个版本enable=1）#cat/etc/yum.repos.d/mongodb-org-3.2.repo[mongodb-org-3.2]name=MongoDBRepositoryba..
分类：
其他好文 时间：
2016-06-24 20:44:41
阅读次数：
309
MongoDB 支持在多个机器中通过异步复制达到故障转移和实现冗余。多机器中同一时刻只有一台是用于写操作。正是由于这个情况，为MongoDB 提供了数据一致性的保障。担当Primary 角色的机器能把读操作分发给slave。 MongoDB高可用可分为两种： Master-Slave主从复制： 只需 ...
分类：
其他好文 时间：
2016-06-20 08:55:16
阅读次数：
124
一、配置文件/etc/mongod.conf[root@mongo01~]#egrep-v"^(#|$)"/etc/mongod.confsystemLog:destination:filelogAppend:truepath:/data/mongodb/log/rs1.logstorage:dbPath:/data/mongodb/datadirectoryPerDB:truejournal:enabled:trueprocessManagement:fork:true#forkandrunin..
分类：
数据库 时间：
2016-06-20 00:57:19
阅读次数：
455
一.replica sets介绍
一个复制集是一组包含相同数据集的mongod实例.一个复制集只能有一个是primary节点,其它的节点为secondary节点.
和主从复制的原理一样,复制集也是通过读取oplog来进行数据传输.oplog是一个capped collection即固定表,创建表的时候可以指定其大小,当oplog满的时候会删除旧的数据.所以设置oplog的大小非常重要,如果...
分类：
数据库 时间：
2016-06-12 02:56:09
阅读次数：
652
<!-- 定义mongo对象，对应的是mongodb官方jar包中的Mongo，replica-set设置集群副本的ip地址和端口 --> <mongo:mongo id="mongo" replica-set="${mongo.hostport}"> <mongo:options connecti ...
分类：
数据库 时间：
2016-06-04 11:48:26
阅读次数：
261
本文共分为三个部分： Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案 1. Kafka Topic创建方式 Kafka Topic创建方式有以下两种表现形式： （1）创建Topic时直接指定Topic Partiti ...
分类：
其他好文 时间：
2016-06-01 21:25:37
阅读次数：
746
分布式查询：mongodb的分布式模型分为replica set和sharded cluster。 sharded集群中将read根据sharding key（分片键）转发到指定的shard节点，read操作非常高效；当然如果query中没有包含sharding key，那么此次read将会被转发到 ...
分类：
数据库 时间：
2016-05-25 14:53:16
阅读次数：
161
一、背景
本书第一章的分布式架构，除了单机的acid外,主要是分布式的CAP.参见上一篇转的文章。本篇是第二章的一致性协议部分，分两篇整理。
在分布式系统中，为了保证数据的高可用，通常，我们会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等语义，我们需要保证这些放置在不同物理机器上的副本是一致的。
为了解决这种分布式一致性问题...
分类：
其他好文 时间：
2016-05-12 20:30:34
阅读次数：
297
