Learning Scrapy原书在Windows系统下的环境搭建 ...
分类：
编程语言 时间：
2019-12-15 18:32:47
阅读次数：
212
方法名描述 cursor.snapshot() cursor.itcount() cursor.batchSize() cursor.pretty() cursor.hint() cursor.min() cursor.sort() cursor.forEach() cursor.limit() c ...
分类：
数据库 时间：
2019-12-15 16:52:48
阅读次数：
123
部署MongoDB复制集（副本集） 环境 操作系统：Ubuntu 18.04 MongoDB: 4.0.3 服务器 首先部署3台服务器，1台主节点 + 2台从节点 3台服务器的内容ip分别是： 10.140.0.5 （主节点） 10.140.0.6 （从节点01） 10.140.0.7 （从节点02 ...
分类：
数据库 时间：
2019-12-15 16:50:47
阅读次数：
81
方法名描述 db.collection.aggregate() 聚合，主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 db.collection.createIndex() 创建一个集合索引 db.collection ...
分类：
数据库 时间：
2019-12-15 16:46:00
阅读次数：
83
有道词典的web接口，实际上可以用爬虫模拟，输入key，拼接为有道词典接口的formdata，爬取返回值，实际为Ajax动态生成的translation，这样外部来看实现了翻译接口的模拟，相当于爬虫模拟浏览器调用了有道词典web接口，其实讲真的话来说，直接调用有道web接口，传json参数就可以了， ...
分类：
编程语言 时间：
2019-12-15 16:44:34
阅读次数：
108
方法名描述 db.cloneDatabase(） 从指定主机上克隆数据库 db.currentOp() 显示当前正在进行的操作 db.commandHelp() 返回数据库命令的帮助信息 db.createCollection() 创建一个聚集集合（table） db.cloneCollection ...
分类：
数据库 时间：
2019-12-15 16:38:08
阅读次数：
104
方法名描述 db.collection.aggregate() 聚合，主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 db.collection.createIndex() 创建一个集合索引 db.collection ...
分类：
数据库 时间：
2019-12-15 16:07:40
阅读次数：
100
rs.initiate() rs.addArb() rs.help() rs.printReplicationInfo() 查看到副本集操作日志 rs.remove() 减少副本集节点 rs.freeze() “冻结”mongodb实例 rs.status() 查看副本集状态 db.printSla ...
分类：
数据库 时间：
2019-12-15 16:07:04
阅读次数：
104
在执行爬虫项目的过程中，有时返回的不是一个html页面而是json格式数据，此时对数据的解析非常重要。 1.Json格式数据的爬取 采用request对以上的url进行爬取： import requests content=requests.get(url,headers=headers).cont ...
分类：
编程语言 时间：
2019-12-15 12:51:14
阅读次数：
183
1. 下载 选择合适平台点击下载 2. 安装mongodb 在win7系统安装mongodb需要vc++运行库，如果没有则会提示“无法启动此程序，因为计算机中丢失"VCRUNTIME140.dll"。 双击安装 选择安装路径 一路next install 至此安装部分完成 3. 配置mongodb ...
分类：
数据库 时间：
2019-12-15 12:17:23
阅读次数：
116
