MongoDB基础可参考http://blog.51cto.com/kaliarch/2044423一、概述1.1MongoDB副本集通俗来讲,mongodb的副本集相当于具有自动故障恢复的主从集群,主从集群和副本集最明显的特征为副本集没有固定的“主节点”,整个集群会通过一定的算法选举出主节点,目前MongoDB官方已经不建议使用主从模式了,在主从模式下,如果主数据库宕机,从数据库无法自动接管主数
分类:
数据库 时间:
2017-11-27 11:58:59
阅读次数:
204
一、三节点作用 Shard: 用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个replica set承担,防止主机单点故障 Config Server: mongod实例,存储了整个 ClusterMetadata,其中包括 chunk信息。 Query Ro ...
分类:
其他好文 时间:
2017-11-22 13:05:51
阅读次数:
298
分片的个数在创建之后是无法再增加和减少的,除非你另外建一个索引库,而副本是可以在运行的时候,动态增加和减少。因此,在创建索引库时,规划好分片(Shard)是非常重要的,而在插入大量数据时可以先将副本书设置为0,插入完成后再修改。 ...
分类:
其他好文 时间:
2017-11-21 14:52:58
阅读次数:
137
实验环境 主机 IP 虚拟通道 centos1 192.168.3.10 vmnet8 centos2 192.168.3.11 vmnet8 centos3 192.168.3.12 vmnet8 从图中可以看到有四个组件:mongos、config server、shard、replica se ...
分类:
数据库 时间:
2017-11-16 14:14:37
阅读次数:
196
无论oracle还是mysql数据库都有分区的概念,即同一张表物理上不在同一台机器上,有效缓解了表都集中存在一台机器的压力。当然,mongodb也有类似的机制,即是分片。具体理论知识大家可以参考网上文档,我这里只记录下具体操作步骤参考网络上一个图。我选用的是2个副本集+1个仲裁..
分类:
数据库 时间:
2017-11-15 21:51:06
阅读次数:
1804
Elasticsearch日志分析系统 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.什么是Elasticsearch 一个采用Restful API标准的高扩展性的和高可用性的实时数据分析的全文搜索工具。高扩展性体现在Elasticsearch添加节点非常简单,基本新的节点 ...
分类:
其他好文 时间:
2017-10-28 01:07:15
阅读次数:
492
showcollections;uncaughtexception:error{"$err":"notmasterandslaveok=false","code":13435}进一步查看mongo日志:unauthorized:notauthorizedonadmintoexecutecommand{replsetgetstatus:1.0,forshell:1.0}通过日志查看了mongo的conf参数文件的配置:取消了replset,keyFile的..
分类:
其他好文 时间:
2017-10-25 23:39:49
阅读次数:
176
主节点(primary)与从节点(secondary)和仲裁节点(arbiter)具有存储数据的两个成员的三个成员副本集具有: ●一个主节点。 ●一个从节点。 从节点可以在选举中成为主节点。 ●一个仲裁节点 仲裁节点只在选举中投票。 由于仲裁节点不保存数据副本,因此这种部署只提供一个完整的数据副本( ...
分类:
数据库 时间:
2017-10-24 22:52:54
阅读次数:
319
如果返回的结果集过大,那聚合所花的时间会较多,阿里搜索中是有海选的概念,所谓的海选就是在总多的返回集中,抽取其中一些返回值,抽取的规则由业务制定。其实在elasticsearch也是可以有的,实现也比较简单。"sampler":{"shard_size":300, "field":"A","max_docs_per_value":..
分类:
其他好文 时间:
2017-10-24 16:15:08
阅读次数:
119
在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”。其实说白了,这些 ...
分类:
数据库 时间:
2017-10-20 16:52:34
阅读次数:
206