1、数据全量备份$sourcepath/mongodump --host $host --port $port --oplog --gzip --out ${targetpath}/${nowtime}/mg_data/mongodb-3.6.6/bin/mongodump -uroot -ppas ...
分类：
数据库 时间：
2020-04-12 10:36:58
阅读次数：
104
1. 备份和恢复工具参数 * 几个重要参数： * mongodump * --polog：复制mongodump开始到结束过程中的所有oplog并输出到结果中。输出文件位于dump/oplog.bson * mongorestore * --oplogReplay：恢复完数据文件后再重放oplog。 ...
分类：
数据库 时间：
2020-04-06 00:19:53
阅读次数：
96
有网友反馈py-mongo-sync同步异常，检查发现curosr[0]取查询结果第一个文档时报错”no such item for Cursor instance”。这里的逻辑是，根据timestamp查询oplog起始位置，cursor类型是TAILABLE，然后取出第一条oplog，验证tim... ...
分类：
其他好文 时间：
2020-02-02 11:59:59
阅读次数：
67
这是主要错误： initAndListen中的异常：NonExistentPath：找不到数据目录 。 Catalina发生了令人惊讶的更改：它不允许更改根目录（这也在论坛主题中进行了讨论）： 不幸的是，除了在Catalina功能中简短提及之外，这在Apple的Catalina发行说明中没有明确说明 ...
分类：
数据库 时间：
2020-01-21 13:16:37
阅读次数：
322
[TOC] 在前面的文章中，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。 一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。 本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全 ...
分类：
其他好文 时间：
2019-12-22 14:59:00
阅读次数：
113
前言 任何一种数据库都有各种各样的日志，MongoDB也不例外。MongoDB中有4种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些日志记录着MongoDB数据库不同方面的踪迹。下面分别介绍这几种日志。 系统日志 系统日志在MongoDB数据库中很重要，它记录着Mo ...
分类：
数据库 时间：
2019-12-11 19:10:48
阅读次数：
116
一、使用场景 大背景是从kafka 中读取oplog进行增量处理，但是当我想发一条命令将这个增量过程阻塞，然后开始进行一次全量同步之后，在开始继续增量。 所以需要对多个协程进行控制。 二、使用知识 1. 从一个未初始化的管道读会阻塞 2.从一个关闭的管道读不会阻塞 利用两个管道和select 进行控 ...
分类：
其他好文 时间：
2019-12-01 17:16:19
阅读次数：
147
MongoDB的增量备份是通过Oplog来实现的。 在MongoDB复制集中，在主节点上的所有的对数据库的操作，都会在System -> local->Collections->oplog.rs 中记录下来。 增量备份可以通过对表中的相应时间中的操作记录进行备份，然后对备份的BSON文件进行恢复。 ...
分类：
数据库 时间：
2019-09-19 21:47:47
阅读次数：
112
最近项目会用到mongodb的oplog触发业务流程，开发时的debug很不方便。所以在本地创建一个单台mongodb 集群进行开发debug。 大概：mongodb可以产生oplog的部署方式应该是两种，一种是replica set ，一种是shard;项目中使用的的shard，所以参照文档本地部 ...
分类：
数据库 时间：
2019-09-11 21:29:39
阅读次数：
139
