python2.7 python 3.6 用爬虫爬取豆瓣，报错“SSL: CERTIFICATE_VERIFY_FAILED”，Python 升级到 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。而当目标网站使用的是自签名 ...
分类：
Web程序 时间：
2017-12-17 19:22:33
阅读次数：
242
import geventfrom urllib.request import urlopen# 爬虫def f(url): print('GET: %s' % url) resp = urlopen(url) data = resp.read() with open('baidu.html', ' ...
分类：
编程语言 时间：
2017-12-14 21:12:01
阅读次数：
124
1 #-*- coding:utf-8 -*- 2 3 import urllib2 4 from lxml import etree 5 6 class CrawlJs(): 7 #定义函数，爬取对应的数据 8 def getArticle(self,url): 9 print '████████... ...
分类：
其他好文 时间：
2017-12-09 16:52:52
阅读次数：
152
1 urllib 模块 - module urllib 2 3 获取 web 页面, 4 html = urllib.request.urlopen("http://www.zzyzz.top/") 5 html2 = urllib.request.Request("http://www.zzyzz... ...
分类：
Web程序 时间：
2017-12-08 18:32:44
阅读次数：
251
简介 urllib是python的一个获取url(Uniform Resource Locators，统一资源定位符)，可以用来抓取远程的数据。 常用方法 （1）urlopen urllib.request.urlopen(url, data=None,[timeout,]*,cafile=None ...
分类：
编程语言 时间：
2017-12-07 16:05:06
阅读次数：
266
Urllib2基础操作 1、打开网页(urlopen) 打开一个网页 urlopen一般常用的有三个参数，它的参数如下： urllib.requeset.urlopen(url,data,timeout) data参数的使用(GET) data参数的使用(POST) 所以如果我们添加data参数的时 ...
分类：
Web程序 时间：
2017-11-30 15:49:04
阅读次数：
194
1.基本方法 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) - url: 需要打开的网址 - data：Post提交的数据 - ...
分类：
编程语言 时间：
2017-11-28 19:56:49
阅读次数：
214
1 #验证码 2 #读取验证码网址、打开本地路径、写入、输入验证码 3 downpicture = urllib.request.urlopen(SecretCodeUrl).read() 4 local = open(address, 'wb') 5 local.write(downpicture... ...
分类：
编程语言 时间：
2017-11-25 16:24:11
阅读次数：
245
Python3和Python2的urllib模块不太一样，本篇文章是以Python3为前提。 1.urlopen的使用 2.Request的使用 3.代理 4.Cookie 5.异常处理 ...
分类：
编程语言 时间：
2017-11-20 13:08:56
阅读次数：
213
【爬虫】优秀的库和框架，硬件水平大大提升的现代社会，Python用来开发爬虫真是再适合不过了，你只需要下面三行代码就可以输出整个www.baidu.com的页面文档了：import urllib2 body = urllib2.urlopen('http://www.baidu.com/') pir ...
分类：
编程语言 时间：
2017-11-18 21:06:25
阅读次数：
168
