一、基本步骤 在我们理解了网页中标签是如何嵌套，以及网页的构成之后，我们就是可以开始学习使用python中的第三方库BeautifulSoup筛选出一个网页中我们想要得到的数据。 接下来我们了解一下爬取网页信息的步骤。 想要获得我们所需的数据分三步 第一步：使用BeautifulSoup解析网页 S ...
分类：
Web程序 时间：
2018-06-09 11:30:16
阅读次数：
257
urilib是python的标准库，当我们使用Python爬取网页数据时，往往用的是urllib模块，通过调用urllib模块的urlopen(url)方法返回网页对象，并使用read()方法获得url的html内容，然后使用BeautifulSoup抓取某个标签内容，结合正则表达式过滤。但是，用u ...
分类：
Web程序 时间：
2018-05-27 16:20:49
阅读次数：
276
在使用 scrapy 来爬取网页的时候，我们难免会使用到调试功能，下面介绍两种调试方法： 1.终端使用 exampleurl 为你要爬取网站的 url 。 开启调试界面后终端显示如下（类似 IPython）： 接下来就可以在命令行中输入各种方法来获取网页内容查看实时效果了。如通过 response. ...
分类：
其他好文 时间：
2018-05-22 23:56:06
阅读次数：
266
简介 有时候，我们天真无邪的使用urllib库或Scrapy下载HTML网页时会发现，我们要提取的网页元素并不在我们下载到的HTML之中，尽管它们在浏览器里看起来唾手可得。 这说明我们想要的元素是在我们的某些操作下通过js事件动态生成的。举个例子，我们在刷QQ空间或者微博评论的时候，一直往下刷，网页 ...
分类：
编程语言 时间：
2018-05-22 00:06:18
阅读次数：
254
爬虫思路 一、确定要爬取的页面——确定目标1.打开含有图片的网页2.打开页面代码：右键——>查看源代码二、分析网页内容1.url路径格式2.数据格式(常见 html文档 格式)3.网页数据编码格式(常见 utf-8)三、代码实现、运行、修改 代码实现 一、请求网页(网页地址 url) 1.导入网络请 ...
分类：
编程语言 时间：
2018-05-17 13:49:26
阅读次数：
250
第二讲：几个爬取网页的实例 本讲通过几个实例来讲述一下爬取网页的基本操作，同时也复习一下上节课的内容，相信还记得通用的代码框架吧，本讲还需要用到它，哈哈哈，是不能忘记滴。 好了，开始！ 第一个实例： 让我们来运行一下看看结果： 看吧，都是小说的内容，爬下来了吧，懂了操作了吧，简单来说就是输入小说网站 ...
分类：
编程语言 时间：
2018-05-02 21:15:41
阅读次数：
134
Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、网络爬虫的尺寸： 1.小规模，数据量小，爬取速度不敏感，Requests库，爬取网页 2.中规模，数据规模较大，爬取速度敏感，Scrapy库，爬取网站 3.大规模，大规模，搜索引擎，爬取速度很关键，定制开发，爬 ...
分类：
编程语言 时间：
2018-04-25 13:12:55
阅读次数：
227
scrapy 伪装代理和fake_userAgent的使用 伪装浏览器代理 在爬取网页是有些服务器对请求过滤的不是很高可以不用ip来伪装请求直接将自己的浏览器信息给伪装也是可以的。 第一中方法： 1.在setting.py文件中加入以下内容，这是一些浏览器的头信息 USER_AGENT_LIST = ...
分类：
编程语言 时间：
2018-04-23 15:42:39
阅读次数：
243
1.爬取网页时，当我们爬取(table)中的内容时，用xpath解析不到表格中td的值 原因:浏览器会在table标签下添加tbody（注：在chrome、火狐测试都有这个情况。出现这种原因是因为浏览器会对html文本进行一定的规范化 ） 解决方法：解决方法：使用scrapy 时将分析出的xpath ...
分类：
其他好文 时间：
2018-04-01 18:54:12
阅读次数：
159
