爬虫的定义 爬虫：按照一定的规则，自动抓取互联网信息的程序或者脚本，从而获取对于我们有价值的信息。 爬虫的两大特征 爬虫的三大步骤 爬虫的分类 爬虫的结构 Python爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 爬虫的执行流程 爬虫 ...
分类：
其他好文 时间：
2018-05-09 22:34:24
阅读次数：
171
'''爬虫的构成下载器： 抓取页面 urllib equests selenium + webdriver解析器： 解释并提取页面元素 BeautifulSoup4 PyQuery Xpath Regular Expression调度器：协调完成全部抓取任务 进程 线程 协程 分布式抓取处理器： 数 ...
分类：
其他好文 时间：
2018-05-09 12:17:19
阅读次数：
154
requests Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 License ...
分类：
其他好文 时间：
2018-05-07 19:42:55
阅读次数：
183
open(name,...) 打开文件并返回一个文件对象 connect(...) 连接到数据库并返回一个连接对象 urllib.urlopen(url[, data[, proxies]]) 根据制定的URL打开一个类似于文件的对象 urllib.urlretrieve(url[, fname[, ...
分类：
其他好文 时间：
2018-05-06 20:06:06
阅读次数：
159
Python介绍 一：Python是什么 python的创始人为吉多·范罗苏姆（Guido van Rossum）。1989年的圣诞节期间，Guido开始写Python语言的编译器。Python这个名字，来自Guido所挚爱的电视剧Monty Python’s Flying Circus。他希望这个 ...
分类：
编程语言 时间：
2018-05-06 12:15:19
阅读次数：
208
1. urllib.urlencode(params) 换成 urllib.parse.urlencode(params) 2. 在python3.3后urllib2已经不能再用，只能用urllib.request来代替 response=urllib2.urlopen(' File "b.py", ...
分类：
编程语言 时间：
2018-05-06 00:23:42
阅读次数：
334
import sys import ssl from urllib import request,parse # client_id 为官网获取的AK， client_secret 为官网获取的SK #获取token def get_token(): client_id =API Key clien ...
分类：
编程语言 时间：
2018-05-06 00:10:25
阅读次数：
377
Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、设置代理 1.urllib 2.requests比urllib简单 3.Selenium设置浏览器代理 设置认证代理 二、代理池维护单一代理并不能完成我们的代理任务，所以需要更多数量的代理为我们服务。我们将对代 ...
分类：
编程语言 时间：
2018-05-05 18:06:36
阅读次数：
220
第一步下载软件接着Ctrl +~ （回车）把下面安装包管理添加到sublimeimport urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(); urll ...
分类：
其他好文 时间：
2018-05-05 13:22:35
阅读次数：
242
