PhantomJS是一种没有界面的浏览器，便于爬虫 1、PhantomJS下载 2、phantomjs无须安装driver，还有具体的api参考： http://phantomjs.org/api/command-line.html 3、配置config.py 4、爬取如下spider.py ...
分类：
数据库 时间：
2017-12-11 23:02:58
阅读次数：
535
channel_extract.py: page_spider.py: main.py: ...
分类：
其他好文 时间：
2017-12-11 16:09:35
阅读次数：
185
jianshuwangarticle.py: ...
分类：
其他好文 时间：
2017-12-11 14:05:47
阅读次数：
150
在爬虫的执行当中，总会遇到请求连接超时的情况，下面的代码块是在请求超时的情况下，捕捉超时错误并连续发送多次请求，只到请求连接成功。 NETWORK_STATUS = True # 判断状态变量 try: response = requests.post(url, headers=self.heade ...
分类：
编程语言 时间：
2017-12-11 13:55:51
阅读次数：
10404
需求 爬取豆瓣电影top250. 获取电影名称,排名,分数,简介,导演,演员。 将爬取到的数据保存，以便随时查看。 可以将获取到的数据展示给用户。 参考 "豆瓣api参考资料" "小试牛刀 利用豆瓣API爬取豆瓣电影top250" 实施做法 用html分析网站源码，运用python编写爬虫，调用数据 ...
分类：
其他好文 时间：
2017-12-11 00:49:46
阅读次数：
136
网络爬虫的基本工作流 1）首先选取url 2）将urll放到待抓取的url队列中 3）从待抓取url队列中读取url 》解析dns 》获取主机IP--》下载对应的网页 》存储到已经下载的网页库中 》将url放到已经抓取的url队列中 4）分析已经抓取的url队列中的url 》重已经下载的网页数据中提 ...
分类：
其他好文 时间：
2017-12-10 21:28:44
阅读次数：
128
<!--[endif]-->目的 网址： http://www.xiachufang.com/ 输入关键词“早餐”，发现是跳转链接（暂时没想到这种怎么处理比较好，就单独拿出来处理吧） <!--[endif]--> 午餐和晚餐的网址就比较一致 <!--[endif]--> <!--[endif]--> ...
分类：
其他好文 时间：
2017-12-10 18:57:54
阅读次数：
166
问题描述： 爬虫目标： 实现哔哩哔哩网站的视频信息爬取，只要的信息结构爬去顺序为**关键词的搜索结果，拿到第一页上某个视频的标题，url，和时间，然后进入下级页面爬去该视频的对应的评论，回复，弹幕，点赞数等等数据，联合组成一个关于该视频的完整信息返回item进行后续处理和存储。 问题点 ： 通过me ...
分类：
Web程序 时间：
2017-12-10 18:26:19
阅读次数：
365
装饰器的用法比较简单，但是理解装饰器的原理还是比较复杂的，考虑到接下来的爬虫框架中很多用到装饰器的地方，我们先来讲解一下。 函数 我们定义了一个函数，没有什么具体操作，只是返回一个固定值 请注意一下缩进 作用域 函数内部的变量和函数外的变量是不同的 我们看一下下面的例子，locals()和globa ...
分类：
编程语言 时间：
2017-12-10 15:52:25
阅读次数：
211
