摘要:本文尝试对Mongo的复制和分布式事务的原理进行描述,在必要的地方,对实现的正确性进行论证,希望能为MongoDB内核爱好者提供一些参考。 1.前言 MongoDB基于wiredTiger提供的泛化SI的功能,重构了readHistory(readMajority)的能力 基于wiredTig ...
分类:
数据库 时间:
2020-07-22 16:14:52
阅读次数:
78
案例:使用正则爬取糗图百科图片单页面的代码importreimportrequestsimportos#创建文件夹ifnotos.path.exists(‘./qiutu‘):os.mkdir(‘./qiutu‘)headers={‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)‘‘C
分类:
编程语言 时间:
2020-07-22 16:05:52
阅读次数:
79
(1)查看MongoDB的连接信息 db.serverStatus().connections结果如下:{ "current" : 233, "available" : 50967, "totalCreated" : NumberLong(191495) }-- current:当前连接数 -- a ...
分类:
数据库 时间:
2020-07-22 02:11:02
阅读次数:
203
db version v3.2.8 rs.initiate(conf) { "ok" : 0, "errmsg" : "new file allocation failure", "code" : 12520 } Mongo 配置 --oplogSize 100000 会预分配10G空间,如果磁盘空 ...
分类:
数据库 时间:
2020-07-21 23:24:30
阅读次数:
101
Redis 增删改查详解 梦和远方 2019-03-12 10:29:48 1352 收藏 2分类专栏: Redis 增删改查版权Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、一个高性能的key-value数据库。并提供多种语言的API。说到Key-Valu ...
分类:
其他好文 时间:
2020-07-21 21:49:18
阅读次数:
78
1,下载 mongodb下载地址 https://www.mongodb.org/dl/win32,其中小版本号为偶数则为稳定版,奇数为开发版,大家根据自己的系统下载就可以了 2,安装 一般我们选择自定义安装,因为可以修改地址以及安装部分组件,推荐大家不要去修改组件,选择全部就可以了,只去修改安装路 ...
分类:
数据库 时间:
2020-07-21 14:08:50
阅读次数:
76
页面解析和数据提取 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为两部分,非结构化的数据 和 结构化的数据。 非结构化数据:先有数据,再有结构,(http://www.baidu.com) 结构化数据:先有结构、再有数据(https://www.qiushi ...
分类:
编程语言 时间:
2020-07-21 13:36:53
阅读次数:
73
爬虫需求1.你是否在夜深人静的时候,想看一些会让你更睡不着的图片却苦于没有资源?2.你是否在节假日出行高峰的时候,想快速抢购火车票成功?3.你是否在网上购物的时候,想快速且精准的定位到口碑质量最好的商品?爬虫简介通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程。爬虫的价值抓取互联网上的数据,为我所用,有了大量的数据,就如同有了一个数据银行一样,下一步做的就是如何将这些爬取的数据产品化
分类:
编程语言 时间:
2020-07-21 11:43:41
阅读次数:
82
1.1 备份恢复工具介绍: (1)** mongoexport/mongoimport (2)***** mongodump/mongorestore 1.2 备份工具区别在哪里? 应用场景总结: mongoexport/mongoimport:json csv 1、异构平台迁移 mysql < > ...
分类:
数据库 时间:
2020-07-21 01:14:16
阅读次数:
96
1.正则表达式的简介 1.1 概念 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑 1.2 正则表达式的应用场景 表单验证(例如 : 手机号、邮箱、身份证.... ) 爬虫 2. ...
分类:
编程语言 时间:
2020-07-20 15:43:06
阅读次数:
92