selenium 模拟登陆豆瓣，爬去武林外传的短评： 在最开始写爬虫的时候，抓取豆瓣评论，我们从F12里面是可以直接发现接口的，但是最近豆瓣更新，数据是JS异步加载的，所以没有找到合适的方法爬去，于是采用了selenium来模拟浏览器爬取。 豆瓣登陆也是改了样式，我们可以发现登陆页面是在另一个fra ...
分类：
其他好文 时间：
2019-06-09 12:57:30
阅读次数：
86
欲直接下载代码文件，关注我们的公众号哦！查看历史消息即可！ 《复仇者联盟4：终局之战》已经上映快三个星期了，全球票房破24亿美元，国内票房破40亿人民币。 虽然现在热度逐渐下降，但是我们还是恬不知耻地来蹭一蹭热度。上映伊始《复联4》的豆瓣评分曾破了9分。 后来持续走低，现在《复联4》的评分稳定在8. ...
分类：
编程语言 时间：
2019-06-01 12:38:25
阅读次数：
231
一、前言 城市切换 城市搜索 二、基本内容 1、豆瓣接口文档 https://douban-api-docs.zce.me/ 2、城市切换用到的接口 https://douban.uieee.com/v2/loc/list 3、获取和处理城市 3.1、index页面： （1）一开始加载程序在inde ...
分类：
微信 时间：
2019-06-01 12:36:11
阅读次数：
131
1. python3.5安装目录C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32 2. 安装virtualenv 虚拟环境pip install virtualenv 如果速度很慢直接找豆瓣源php install -i ...
分类：
编程语言 时间：
2019-05-30 01:11:16
阅读次数：
113
阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi ...
分类：
编程语言 时间：
2019-05-26 16:27:45
阅读次数：
103
1、配置文件 编辑配置文件 ~/.pip/pip.conf，添加内容如下： [global]index-url = https://pypi.doubanio.com/simpletrusted-host = pypi.doubanio.com 2、命令行选项 使用 pip 命令安装扩展包时指定源： ...
分类：
其他好文 时间：
2019-05-23 09:15:37
阅读次数：
179
[TOC] 这篇文章将解除你使用python的 受到的网速限制，如果只是下载较小的第三方库，可以尝试 。 Windows 1. 找到python安装目录下的：\Lib\site packages\pip\models\index.py文件，将PYPI的值改为你所需要的镜像源即可，例如改为豆瓣镜像源： ...
分类：
编程语言 时间：
2019-05-19 14:22:29
阅读次数：
1032
1.安装虚拟环境 2.通过豆瓣源安装，寻找python豆瓣源镜像 豆瓣源路径：https://pypi.douban.com/simple 3.新建 virtualenv，新建虚拟环境 选择一个用来存放虚拟环境的文件，如E:/python3 注意： 如果不识别virtualenv命令，可能是pyth ...
练习介绍 要求： 本练习需要运用scrapy的知识，爬取豆瓣图书TOP250（https://book.douban.com/top250 ）前2页的书籍（50本）的短评数据存储成Excel 书名 评论ID 短评内容 1、创建爬虫项目 1 D:\USERDATA\python>scrapy star ...
分类：
其他好文 时间：
2019-05-12 00:59:31
阅读次数：
135
导读 大家也许都有过这样的体验，我们登录一些不是特别常用的软件或网站的时候可以使用QQ、微信或者微博等账号进行授权登陆。例如我们登陆豆瓣网的时候，如果不想单独注册豆瓣网账号的话，就可以选择用微博或者微信账号进行授权登录。这样的场景还有很多，例如登录微博、头条等网站，也都可以选择QQ或者微信登录的方式 ...
分类：
其他好文 时间：
2019-05-06 19:24:51
阅读次数：
188
