抓取猫眼电影top100的正则、bs4、pyquery、xpath实现方法 ...
分类：
其他好文 时间：
2019-04-06 14:07:10
阅读次数：
95
官方文档：https://pyquery.readthedocs.io/en/latest/ PyQuery是一个强大又灵活的网页解析库。如果你觉得正则写起来太麻烦、BeautifulSoup语法太难记，而你熟悉jQury的语法，那么PyQuery就是你的绝佳选择。 一、开始 字符串初始化： URL ...
分类：
其他好文 时间：
2019-04-05 09:21:21
阅读次数：
126
特点： 去重处理，结果监控，多进程处理，pyquery提取，错误重试，webUI管理，代码简洁，JS渲染 安装： anaconda里边没搜到pyspider，所以手动安装 查看pyspider的命令： 启动pyspider所有组件： 在启动之前，要先安装phantomjs浏览器，因为pyspider ...
分类：
其他好文 时间：
2019-04-01 17:19:27
阅读次数：
177
Beautifulsoup模块 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 ...
分类：
其他好文 时间：
2019-03-25 01:15:54
阅读次数：
211
准备： 1.安装Selenium：终端输入 pip install selenium 2.安装下载Chromedriver：解压后放在…\Google\Chrome\Application\；如果是Mac，可放入/usr/locl/bin，并将此目录放入环境变量 3.安装pyquery：终端输入 p ...
分类：
数据库 时间：
2019-03-19 20:11:28
阅读次数：
217
PyQuery 用法： (1) 前面我们爬取一个网页，都是使用正则表达式来提取想要的信息，但是这种方式比较复杂，一旦有一个地方写错，就匹配不出来了，因此我们可以使用 PyQuery(2) PyQuery 是一个网页解析库，如果你觉得正则写起来太麻烦，如果你觉得 BeautifulSoup 语法太难记 ...
分类：
其他好文 时间：
2019-03-15 09:12:11
阅读次数：
202
在网页节点中，可以定义id、class或其他属性。节点间有层次关系，网页中要通过XPath或CSS选择器定位一个或多个节点。在页面解析时，可利用XPath或CSS选择器提取某个节点，再调用相应方法获取它的正文内容或者属性，就可提取到想要的信息。在python中常用的解析库有lxml、Beautifu... ...
分类：
其他好文 时间：
2019-03-08 17:06:24
阅读次数：
182
1.简介 1.实战1 """微博首页数据抓取实战，根据ajax请求抓取微博首页数据到mongodb数据库""" import time import requests from urllib.parse import urlencode from pyquery import PyQuery fro ...
分类：
Web程序 时间：
2019-02-08 23:22:51
阅读次数：
271
第一篇：爬虫基本原理 第二篇：请求库之requests，selenium 第三篇：解析库之re、beautifulsoup、pyquery 第四篇：存储库之mongodb，redis，mysql 第五篇：爬虫高性能相关 第六篇：Scrapy框架 第七篇：分布式爬虫 第八篇：爬虫实战 付费（加qq群7 ...
分类：
其他好文 时间：
2019-02-07 19:02:58
阅读次数：
166
一、文件存储 1. TXT文本存储 例：知乎发现页面，获得数据存成TXT文本 注意： 1. 在用pyquery解析时，一定要找准属性进行匹配； 2. 打开文件open()函数第二个参数设置为a，其他值： 3.每次open()打开文件后都要用close()关闭，直接用 with as 语句，会自动关闭 ...
分类：
Web程序 时间：
2019-02-07 10:53:55
阅读次数：
271
