一、ProxyHandler处理（代理服务器） 1.使用代理IP，是爬虫的常用手段 2.获取代理服务器的地址： www.xicidaili.com www.goubanjia.com 3.代理用来隐藏真实访问中，代理不允许频繁访问某一个固定网站，所以代理一定要很多很多。 4.基本使用步骤： （1）设 ...
分类：
编程语言 时间：
2020-02-06 01:29:15
阅读次数：
93
1.含义： 使用聚合管道可以对集合中的文档进行换行和组合。在实际项目中：表的关联查询，数据统计; 常见管道操作符 description $project 增加，删除，重命名字段 $match 条件匹配，满足条件的文档才能进入下一阶段 $limit 限制结果的数量 $skip 跳过文档的数量 $so ...
分类：
数据库 时间：
2020-02-05 23:07:18
阅读次数：
102
MongoDB是目前非常流行的一种NoSQL数据库，其灵活的存储方式备受开发人员青睐。本文就介绍一下如何安装并设置成Windows服务的方法。目前为止，我们每次启动MongoDB数据库服务都需要通过CMD输入指令mongod来开启服务，较为麻烦，所以本节介绍下如何将将mongo安装为Windows服 ...
分类：
数据库 时间：
2020-02-05 16:39:46
阅读次数：
126
1，下载curl：https://blog.csdn.net/weixin_42139662/article/details/88037763 请求头参数：https://blog.csdn.net/xiaochengyihe/article/details/80910913 （讲的比较详细） 查看 ...
分类：
编程语言 时间：
2020-02-04 23:35:31
阅读次数：
106
版本：3.6.31. 部署MongoDB服务 192.168.4.50创建服务工作目录]# mkdir /usr/local/mongodb]# cd /usr/local/mongodb/]# mkdir etc]# mkdir log]# mkdir -p data/db安装软件]# tar - ...
分类：
数据库 时间：
2020-02-04 23:30:36
阅读次数：
94
炸了炸了炸了，电脑前边坐了一天，毕设愣是没啥进度，啥也没做成呢？！！！！ 今天主要完成了数据的分页显示，淘宝数据的爬取，早上起床就登录让它爬数据，刚爬了300条又被封了，，，， 在考虑是否换掉数据库，改用mongodb或者hive,后期处理大批的数据，关系型数据库太慢了 ，明天再研究 分页代码，调试 ...
分类：
其他好文 时间：
2020-02-04 23:29:14
阅读次数：
85
查看官网文档 (2).MongoDB基本语法 1.查看所有数据库: show dbs 2.切换到数据库runoob: use runoob 3.创建集合(创建数据库)： db.createCollection("user") 或是 db.user.insert({"name":"菜鸟教程","cla ...
分类：
数据库 时间：
2020-02-04 20:37:40
阅读次数：
86
获取YApi镜像$ docker pull mrjin/yapi:latest 注意：本仓库目前只支持安装，暂不支持升级，请知晓。如需升级请备份mongoDB内的数据。 docker-compose 部署 version: '2.1' services: yapi: image: mrjin/yap ...
. mongobooster可视化工具下载地址 mongobooster可视化工具，不用安装，下载解压直接打开就可以使用1.启动项目执行：mongod --dbpath E:\SoftMgr\MongoDB\Server\data\db2.连接项目localhost:270173.基本操作(1).创 ...
分类：
数据库 时间：
2020-02-04 20:07:32
阅读次数：
593
一. mongoDB安装路径 安装路径（最新4.0.11）：https://www.mongodb.com/download-center/community?jmp=nav 建议另外找路径下载，外网太慢，等不住。。 这是一位博主提供的下载路径（4.0.10）： 百度链接：https://pan.b ...
分类：
数据库 时间：
2020-02-04 14:21:43
阅读次数：
87
