1、MongoDB简介2、MongoDB特点3、MongoDB功能4、MongoDB部署4.1MongoDB单机部署4.2MongoDB主从部署4.3MongoDB分片部署附录一:MongoDB工具介绍附录二:MongoDB报错附录三:MongoDB命令详解
分类:
数据库 时间:
2015-04-14 20:09:19
阅读次数:
174
mongodb集群有三种方式1,主从模式,类似mysqlmasterslave方式。2,副本集模式,其实是一主多从,如果主节点挂掉,会重新在从节点选取一台为主节点。3,分片模式,针对大数据量,高负载情况。从图中可以看到有四个组件:mongos、configserver、shard、replicaset。mongos,数据..
分类:
数据库 时间:
2015-04-14 20:02:11
阅读次数:
377
最近学习了hadoop这个框架,把自己的理解总结如下:
1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行,tasktracker同时向jobtracker返回任务运行结果。
jobtracker对作业的输入数据进行分片,然后为每个分片创建一个map任务,同时创建一定数量的reduce任务,并指派空闲的tasktracker来执行这些任务。
tasktr...
分类:
其他好文 时间:
2015-04-13 11:00:17
阅读次数:
113
Storm,核心代码使用clojure书写,实用程序使用python开发,使用java开发拓扑。 Nimbus节点接收到请求,对提交的拓扑进行分片,分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上,supervisor会去zookeeper集群上领自己...
分类:
其他好文 时间:
2015-04-12 14:33:28
阅读次数:
3522
在做mongodb分片时,当启用mongos路由服务,我们会指定一个日志的存放位置:mongos--configdb127.0.0.1:27019--logpath/var/log/mongodb/mongos.log--pidfilepath/var/run/mongodb/mongos.pid--logappend--logRotatereopen--fork以上我们指定了日志的存放位置在/var/log/mongod..
分类:
数据库 时间:
2015-04-10 20:25:05
阅读次数:
349
elasticseach的数据分片shard,在创建索引之后,在生命周期内就不可改变了,所以在索引开始创建的时候,要根据预估的数据规模合理的设置shard数目。在集群中让shard分布均匀,可以有效的均衡集群负载,所以我们要尽量保证shard的在集群中分布均匀。...
分类:
其他好文 时间:
2015-04-10 20:16:04
阅读次数:
209
Twemproxy是一种代理分片机制,由Twitter开源。Twemproxy作为代理,可接受来自多个程序的访问,按照路由规则,转发给后台的各个Redis服务器,再原路返回。该方案很好的解决了单个Redis实例承载能力的问题。当然,Twemproxy本身也是单点,需要用Keepalived做高可用方...
分类:
其他好文 时间:
2015-04-10 17:07:32
阅读次数:
257
尽管 IP 分片看起来是是透明的,但有一点让人不想使用它:即使只丢失一片数据也要重传整个数据报。为什么会发生这种情况呢?
因为 IP 层本身没有超时重传的机制——由更高层来负责超时和重传( TCP 有超时和重传机制,但 UDP 没有。一些 UDP 应用程序本身也执行超时和重传)。当来自 TCP 报文段的某一片丢失后,TCP 在超时后重发整个 TCP 报文段,该报文段对应于一份 IP 数据...
分类:
其他好文 时间:
2015-04-08 16:22:48
阅读次数:
131
数据分片也称数据分割,是分布式数据库的特征之一。在一个分布式数据库中,全局数据库是由各个局部数据库逻辑组合而成;反之,各个局部数据库是由全局数据库的某种逻辑分割而得。 ???????...
分类:
数据库 时间:
2015-04-07 00:48:02
阅读次数:
142
#MongoDb 聚合方法 group aggrate mapreduce#1. Group (不支持分片,分布计算) * 语法结构 db.collection.group({ key:{category:1}, // 根据category来分类 c...
分类:
数据库 时间:
2015-04-06 20:12:36
阅读次数:
193