利用python3来爬取淘宝美食商品列表. 爬取流程: 环境: 进群：548377875 可以获取不同的PDF哦！ ubuntu16.04 python3.5 python库: selenium ,pyquery, pymongo,re 分析过程如下: 1.找到搜索框: 复制元素 2.找出搜索按钮元 ...
分类：
编程语言 时间：
2018-09-17 15:25:55
阅读次数：
394
今天学习pyquery 读取HTML文件时，报错 这是字符编码错误，读取的时候不能读取gbk格式的字符 然后打开HTML文档，发现里面有中文字符，将中文字符去掉之后就可以执行了。 ...
分类：
Web程序 时间：
2018-09-12 11:08:09
阅读次数：
175
pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。 1. 相关链接 GitHub：https://github.com/gawel/pyquery PyPI：https://pypi. ...
分类：
编程语言 时间：
2018-09-11 16:24:06
阅读次数：
172
[toc] requests html 是基于现有的框架 PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装，作者将Requests设计的简单强大的优点带到了该项目中。 GiHub项目地址： "https://github.com/kennethreitz/r ...
分类：
编程语言 时间：
2018-09-10 00:58:41
阅读次数：
352
pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一下比较经典的示例进行简单讲解，希望对新手有一些帮助。 示例说明： pyspider爬取的内容通过回调的参数response返回，response有多种解析方式。1、res ...
分类：
Web程序 时间：
2018-09-09 20:07:02
阅读次数：
285
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择， PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同。 安装 官网地址：http://pyquery.rea ...
分类：
其他好文 时间：
2018-08-29 18:06:02
阅读次数：
276
1.什么是爬虫？请求网站并提取数据的自动化程序（让程序替你去上网） 2.爬虫的基本流程（1）向服务器发起请求（2）获取网页内容（3）解析内容（4）保存数据 3.什么是request和response请求与响应：浏览器与服务器（也是一台计算机）之间的交流。 4.request中包含了什么？（1）请求方 ...
分类：
其他好文 时间：
2018-08-25 19:58:12
阅读次数：
198
#表示的是取html中的id元素， . 表示的是取html中的class元素。 如果是标签，就直接用标签名 而它们之间的空格，则表示嵌套关系 单冒号(:)用于CSS3伪类，双冒号(::)用于CSS3伪元素。 ...
分类：
其他好文 时间：
2018-08-23 15:40:37
阅读次数：
109
import requestsfrom pyquery import PyQuery as pqurl = 'https://www.zhihu.com/explore'headers = { 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x ...
分类：
编程语言 时间：
2018-08-10 23:02:46
阅读次数：
229
