scrapy异步的爬虫框架。 异步的爬虫框架。 高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式 框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。 环境安装： Linux： pip3 install scrapy Windows： a. pip3 install wheel ...
分类：
编程语言 时间：
2020-06-25 21:26:24
阅读次数：
65
相关地址: 下载：https://www.mongodb.com/try/download/community 文档：https://docs.mongodb.com/ 下载mongoDB安装包 下载安装包 官网下载传送门 使用stfp工具上传到Linux服务器 解压 解压到指定的目录下，该目录下会 ...
分类：
数据库 时间：
2020-06-24 16:06:59
阅读次数：
78
在Java中使用MongoDB时若是通过这样的方式查询，在swagger接口中收到的结果可能会与期望不一致。 1、检索语句 mongoTemplate.find(query, Object.class, collectionName); 注意了，上述语句中是直接采用Object的类型。 2、单步调试 ...
分类：
数据库 时间：
2020-06-24 14:09:46
阅读次数：
119
爬取音乐资源 实现 #python 的正则库 import re #python 的requests库 import requests import time #找到url的规律 #每一页的url # http://www.htqyy.com/top/hot # http://www.htqyy.c ...
分类：
编程语言 时间：
2020-06-24 14:02:57
阅读次数：
117
在路径上加上双引号就可以 例如：mongod --dbpath "C:\Program Files\MongoDB\Server\4.2\data" --logpath "C:\Program Files\MongoDB\Server\4.2\log\MongoDB.log" --logappend ...
分类：
其他好文 时间：
2020-06-24 00:25:52
阅读次数：
140
docker运行MongoDB,针对于docker容器来进行内存资源的限制 修改MongoDB的运行配置文件,并且重启mongodb storage: dbPath: /var/lib/mongodb journal: enabled: true # engine: mmapv1: smallFil ...
分类：
数据库 时间：
2020-06-24 00:07:49
阅读次数：
116
（一）主机信息操作系统版本：centos7 64-bit数据库版本 ：MongoDB 4.2 社区版iphostname192.168.10.41 mongoserver1192.168.10.42mongoserver2192.168.10.43mongoserver3（二）副本集搭建过程首先需要... ...
分类：
数据库 时间：
2020-06-23 21:39:29
阅读次数：
88
数据库分类 关系数据库 SQL mysql 1 非关系数据库 NoSQL mongodb 4 redis 2 Elasticsearch 3 mysql （MariaDB） 完全开源 oracle sqlserver oracle mysql mysql 官方网站 http://www.mysql. ...
分类：
数据库 时间：
2020-06-23 21:20:19
阅读次数：
70
导读：在之前的文章中（超链接），我们说了MongoDB现在已经不再推荐使用主从复制模式，而是推荐副本集，那么副本集究竟有什么优点呢？我们不妨来探索一下。（一）副本集（replica set）概述对于副本集，官方文档是这样定义的：副本集是一组mongod维护相同数据的实例，一个副本集包含多个数据承载节 ...
分类：
数据库 时间：
2020-06-23 21:00:08
阅读次数：
75
舆情爬虫分析：硬件: 4台服务器,分别放redis、python爬虫、mysql和 kafka四大板块。软件:1. mysql2. redis #leap1 /usr/bin/redis-cli /usr/bin/redis-server redis 3.1.103 64 bit 3. python ...
分类：
编程语言 时间：
2020-06-23 17:22:37
阅读次数：
57
