目标网址： "猫眼电影" 主要流程 1. 爬取每一个电影所对应的url 2. 爬取具体电影所对应的源码 3. 解析源码，并下载所对应的字体 4. 使用 fontTools 绘制所对应的数字 5. 运用机器学习的方法识别对应的数字 6. 在源码中用识别的数字替换相应的地方 遇坑经历 用 pyquery ...
分类：
Web程序 时间：
2019-11-04 19:24:06
阅读次数：
107
lixm 需要编译安装，因此需要先安装gcc g++ 安装Pillow ...
分类：
系统相关 时间：
2019-11-04 12:02:12
阅读次数：
78
OS: ubuntu-18.04.1apt install -y python3-pip pip3 install bs4 pip3 install lxml #!/usr/bin/env python3 import requests r = requests.get('http://www.wi... ...
分类：
编程语言 时间：
2019-10-31 13:46:16
阅读次数：
73
默认情况下，lxml.etree使用标准解析器 创建一个解析器，在解析时删除标记之间的空文本如果事先知道纯空白内容对数据没有意义，则可以减小树的大小并避免尾部文本悬空 ...
分类：
其他好文 时间：
2019-10-31 13:14:51
阅读次数：
75
1.图片下载 # 百度图片:http://image.baidu.com/# 搜狗图片:https://pic.sogou.com/ # 图片爬取:1).寻找图片下载的url: elements与network抓包2).浏览器中访问url, 进行验证3).编写代码获取url4).请求url地址, 获 ...
分类：
其他好文 时间：
2019-10-28 21:05:27
阅读次数：
120
在爬取的过程中发现,访问频率太快会导致网站弹出滑动验证,所以设定了时间随机时间延迟,这样子就能保证爬取的信息完整,我选的是青岛市的小区,后续也可以添加输入市名爬取相关内容,二级页面的房子的平均价格是动态生成的,需要发送一个请求得到一个json,请求的url比较复杂,而且还要再发送一次请求,因此直接在 ...
分类：
其他好文 时间：
2019-10-27 11:10:15
阅读次数：
216
这个可以作为xpath的练手项目,爬取股吧2016年6月份到2016年12月份的文章标题和发帖时间 代码如下: ...
分类：
其他好文 时间：
2019-10-27 10:39:32
阅读次数：
87
1.导入相应的包 2.原始ur 我们要爬取的是最新电影，在该界面中，我们发现，具体的信息存储在每个名字的链接中，因此我们要获取所有电影的链接才能得到电影的信息。同时我们观察url，发现 list_23_1，最后的1是页面位于第几页。右键点击其中一个电影的名字-检查。 我们发现，其部分连接位于具有cl ...
分类：
其他好文 时间：
2019-10-21 20:40:37
阅读次数：
185
很多情况下，页面的某些信息需要登录才可以查看。 这里的核心是获取登陆之后的 Cookies 。话不多说，操练起来。 1. 模拟登录并爬取GitHub 1.1 环境准备 requests库 lxml库 1.2 分析登录过程 打开Github的登录页面，https://github.com/login. ...
分类：
编程语言 时间：
2019-10-20 17:55:03
阅读次数：
95
`requests html是比较新的爬虫库,作者和requests是同一个作者` 一.安装依赖 我们可以在安装的时候看到他安装了lxml,reuqests,bs4......我们常用的解析和爬取的库都分装在他里面 二. 发起请求 :发默认发送的的是 ,且他如果用render 1.解决无头浏览器(针 ...
分类：
Web程序 时间：
2019-10-17 17:25:12
阅读次数：
191
