requests html 是基于现有的框架 PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装，作者将Requests设计的简单强大的优点带到了该项目中。 GiHub项目地址： "https://github.com/kennethreitz/request ...
分类：
编程语言 时间：
2018-06-30 22:57:17
阅读次数：
171
还是以猫眼电影为例，这次用pyquery库进行爬取 1.简单demo，看看如何使用pyquery提取信息，并将提取到的数据进行组合 2.正式代码 其实就这个例子来说，使用pyquery来提取信息是最简单省事的了，直接使用css选择器就可以把想要的数据拿到 ...
分类：
数据库 时间：
2018-06-27 22:20:35
阅读次数：
279
1.TXT文本存储 可以用requests将网页源代码获取下来，然后使用pyquery解析库解析，接下来将提取的标题、回答者、回答保存到文本，代码如下： 运行程序，可以发现在本地生成了一个txt文件。 首先，用requests提取知乎的“发现”页面，然后将热门话题的问题、回答者、答案全文提取出来，然 ...
分类：
其他好文 时间：
2018-06-22 21:43:15
阅读次数：
157
如果你对web有所涉及,比较喜欢css选择器,对jquery有所了解,那么有一个更加适合你的解析库--pyquery 初始化有多种方法比如传入字符串,传入url,传入文件名 字符串初始化 url初始化 文件初始化 查找节点 如果想要筛选某个祖先节点的话,可以像parents()方法传入css选择器, ...
分类：
其他好文 时间：
2018-06-20 13:04:46
阅读次数：
164
目前正在学Python爬虫，正在读崔庆才的《Python3网络爬虫开发实战》，之前学习正则表达式，但是由于太难，最后放弃了（学渣的眼泪。。。。），在这本书上的抓取猫眼电影排行上，后来自学了pyquery，发现用pyquery可以解决这个问题，目前自己试着写了代码 这个是抓取一页的情况的代码（没有图的 ...
分类：
其他好文 时间：
2018-06-16 20:34:19
阅读次数：
278
强大又灵活的网页解析库，如果觉得正则表达式写起来太麻烦，而BeautifulSoup语法太难记，但是熟悉jQuery的语法，那么PyQuery就是一个绝佳选择。 安装：pip3 install pyquery 初始化 字符串初始化 URL初始化 这种是传入一个url,会自动请求这个url,把源代码给 ...
分类：
其他好文 时间：
2018-06-16 16:16:01
阅读次数：
136
配置文件，配置好数据库名称，表名称，要搜索的产品类目，要爬取的页数 主程序 ...
分类：
其他好文 时间：
2018-06-15 21:44:08
阅读次数：
190
pyquery 的使用 跟XPath 和 BeautifulSoup类似的，pyquery也是一个解析库。像Beautiful Soup 一样，初始化pyquery的时候，也需要传入HTML文本来初始化一个pyquery对象。除此以外，还可以直接传入URL，传入文件名等。下面来详细介绍： 这里首先引 ...
分类：
其他好文 时间：
2018-06-15 16:03:21
阅读次数：
160
1.搜索关键词：利用Selenium驱动浏览器，得到商品列表。 2.分析页码并翻页：得到商品页码数，模拟翻页，得到后续页面的商品列表。 3.分析提取商品内容：利用PyQuery分析源码，解析得到商品列表。 4.存储到MongoDB：将商品列表信息存储到数据库MongoDB。 可以利用PhantomJ ...
分类：
其他好文 时间：
2018-06-01 01:00:13
阅读次数：
202
写了两个版本: 1、面向过程版本： 2、面向对象版本： ...
分类：
编程语言 时间：
2018-05-25 01:39:12
阅读次数：
524
