前面豆子学习了基本的urllib的模块，通过这个模块可以写一些简单的爬虫文件。如果要处理大中型的爬虫项目，urllib就显得比较low了，这个时候可以使用scrapy框架来实现，很多基本的处理在scrapy里面已经做好了。首先来安装一下。推荐的流程如下：首先升级一下pipC:\WINDOWS\system32>python-mpipinstall--upgradepipRequirement
分类：
其他好文 时间：
2018-01-25 10:58:50
阅读次数：
213
urllib是python的一个获取url(Uniform Resource Locators,统一资源定址器)了，我们可以利用它来抓取远程的数据进行保存哦 1.基本方法 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None ...
分类：
编程语言 时间：
2018-01-24 19:40:38
阅读次数：
217
requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License ...
分类：
其他好文 时间：
2018-01-24 00:40:54
阅读次数：
227
爬取的是分省月度数据，2017年的，包括：居民消费价格指数，食品烟酒类居民消费价格指数，衣着类居民消费价格指数，居住类居民消费价格指数，生活用品及服务类居民消费价格指数，交通和通信类居民消费价格指数，教育文化和娱乐类居民消费价格指数，医疗保健类居民消费价格指数，其他用品和服务类居民消费价格指数。 打 ...
分类：
其他好文 时间：
2018-01-21 23:52:47
阅读次数：
262
Urllib模块 在python2和python3中的差异 在python2中，urllib和urllib2各有各个的功能，虽然urllib2是urllib的升级版，但是urllib2还是不能完全替代urllib，但是在python3中，全部封装成一个类，urllib 在python2和python ...
分类：
Web程序 时间：
2018-01-21 22:42:12
阅读次数：
308
#coding=utf-8 import urllib.request from bs4 import BeautifulSoup from urllib import error import re def validateTitle(title): rstr = r"[\/\\\:\*\?\"\... ...
分类：
其他好文 时间：
2018-01-20 20:34:45
阅读次数：
125
运行平台：Windows Python版本：Python3.x IDE：Sublime text3 转载请注明作者和出处：http://blog.csdn.net/c406495762/article/details/59488464 一.urllib.error urllib.error可以接收有 ...
分类：
编程语言 时间：
2018-01-20 18:58:58
阅读次数：
238
一.爬虫是什么？ 二.爬虫的基本流程 三.请求与响应 四.Request 五.Response 六.总结 一爬虫是什么？ 二爬虫的基本流程 三请求与响应 四.Request from urllib.parse import urlencode import requests headers={ 'A ...
分类：
其他好文 时间：
2018-01-20 13:56:58
阅读次数：
194
介绍 使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） 注意 requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 安装 pip3 in ...
分类：
编程语言 时间：
2018-01-20 12:38:50
阅读次数：
184
#__author: hasee #date: 2018/1/20 from urllib.request import urlopen, urlretrieve from urllib.parse import quote from re import findall url = 'http://... ...
分类：
其他好文 时间：
2018-01-20 11:11:21
阅读次数：
175
