requests请求，就是用yhthon的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求 这种比较简单，直接利用requests模块发一个请求即可拿到html源码 得到 ...
分类：
Web程序 时间：
2017-10-20 18:40:43
阅读次数：
252
模拟浏览器打开网页: headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBRO ...
分类：
编程语言 时间：
2017-08-21 15:54:47
阅读次数：
208
1、简介： scrapy 是用python写成的一个web 爬虫框架，scrapy 会把大多数在爬取网站时的通用的事给自动化的做了；我最开始爬别人的网站的时候 用的是requests这个库，用这个库我要自己发出请求的代码，自己写得到响应的代码；然而我真正要做的事是，处理响应中的内容，并抽取 出我想要 ...
分类：
其他好文 时间：
2017-08-09 11:29:36
阅读次数：
122
各种蜘蛛： Heritrix 点击次数：1458 Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。 Heritrix 点击次数：1458 Heritrix是一个开源，可扩展的web爬虫项目。Heritr ...
分类：
Web程序 时间：
2017-08-09 11:27:33
阅读次数：
238
第三百三十七节，web爬虫讲解2—PhantomJS虚拟浏览器+ PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器，利用这个软件，可以获取到网址js加载的任何信息，也就是可以获取浏览器异步加载的信息 下载网址：http://ph ...
分类：
Web程序 时间：
2017-08-02 00:37:25
阅读次数：
186
第三百三十四节，web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息 crapy爬取百度新闻，爬取Ajax动态生成的信息，抓取百度新闻首页的新闻标题和rul地址 有多网站，当你浏览器访问时看到的信息，在html源文件里却找不到，由得信息还是滚动条滚动到对应的位 ...
分类：
Web程序 时间：
2017-07-30 10:08:30
阅读次数：
229
第三百三十三节，web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录 模拟浏览器登录 start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求 Requ ...
分类：
Web程序 时间：
2017-07-29 16:33:46
阅读次数：
141
第三百三十节，web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号 封装模块 实战爬取搜狗微信公众号 ...
分类：
微信 时间：
2017-07-27 21:21:13
阅读次数：
1489
第三百二十三节，web爬虫，scrapy模块以及相关依赖模块安装 当前环境python3.5 ，windows10系统 Linux系统安装 在线安装，会自动安装scrapy模块以及相关依赖模块 手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块 安装以下模块 1、lxml-3.8.0. ...
分类：
Web程序 时间：
2017-07-23 22:56:52
阅读次数：
554
第三百二十四节，web爬虫，scrapy模块介绍与使用 ...
分类：
Web程序 时间：
2017-07-23 22:29:44
阅读次数：
206
