selenium 模拟登陆豆瓣,爬去武林外传的短评: 在最开始写爬虫的时候,抓取豆瓣评论,我们从F12里面是可以直接发现接口的,但是最近豆瓣更新,数据是JS异步加载的,所以没有找到合适的方法爬去,于是采用了selenium来模拟浏览器爬取。 豆瓣登陆也是改了样式,我们可以发现登陆页面是在另一个fra ...
分类:
其他好文 时间:
2019-06-09 12:57:30
阅读次数:
86
欲直接下载代码文件,关注我们的公众号哦!查看历史消息即可! 《复仇者联盟4:终局之战》已经上映快三个星期了,全球票房破24亿美元,国内票房破40亿人民币。 虽然现在热度逐渐下降,但是我们还是恬不知耻地来蹭一蹭热度。上映伊始《复联4》的豆瓣评分曾破了9分。 后来持续走低,现在《复联4》的评分稳定在8. ...
分类:
编程语言 时间:
2019-06-01 12:38:25
阅读次数:
231
一、前言 城市切换 城市搜索 二、基本内容 1、豆瓣接口文档 https://douban-api-docs.zce.me/ 2、城市切换用到的接口 https://douban.uieee.com/v2/loc/list 3、获取和处理城市 3.1、index页面: (1)一开始加载程序在inde ...
分类:
微信 时间:
2019-06-01 12:36:11
阅读次数:
131
1. python3.5安装目录C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32 2. 安装virtualenv 虚拟环境pip install virtualenv 如果速度很慢直接找豆瓣源php install -i ...
分类:
编程语言 时间:
2019-05-30 01:11:16
阅读次数:
113
阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi ...
分类:
编程语言 时间:
2019-05-26 16:27:45
阅读次数:
103
1、配置文件 编辑配置文件 ~/.pip/pip.conf,添加内容如下: [global]index-url = https://pypi.doubanio.com/simpletrusted-host = pypi.doubanio.com 2、命令行选项 使用 pip 命令安装扩展包时指定源: ...
分类:
其他好文 时间:
2019-05-23 09:15:37
阅读次数:
179
[TOC] 这篇文章将解除你使用python的 受到的网速限制,如果只是下载较小的第三方库,可以尝试 。 Windows 1. 找到python安装目录下的:\Lib\site packages\pip\models\index.py文件,将PYPI的值改为你所需要的镜像源即可,例如改为豆瓣镜像源: ...
分类:
编程语言 时间:
2019-05-19 14:22:29
阅读次数:
1032
1.安装虚拟环境 2.通过豆瓣源安装,寻找python豆瓣源镜像 豆瓣源路径:https://pypi.douban.com/simple 3.新建 virtualenv,新建虚拟环境 选择一个用来存放虚拟环境的文件,如E:/python3 注意: 如果不识别virtualenv命令,可能是pyth ...
练习介绍 要求: 本练习需要运用scrapy的知识,爬取豆瓣图书TOP250(https://book.douban.com/top250 )前2页的书籍(50本)的短评数据存储成Excel 书名 评论ID 短评内容 1、创建爬虫项目 1 D:\USERDATA\python>scrapy star ...
分类:
其他好文 时间:
2019-05-12 00:59:31
阅读次数:
135
导读 大家也许都有过这样的体验,我们登录一些不是特别常用的软件或网站的时候可以使用QQ、微信或者微博等账号进行授权登陆。例如我们登陆豆瓣网的时候,如果不想单独注册豆瓣网账号的话,就可以选择用微博或者微信账号进行授权登录。这样的场景还有很多,例如登录微博、头条等网站,也都可以选择QQ或者微信登录的方式 ...
分类:
其他好文 时间:
2019-05-06 19:24:51
阅读次数:
188