在爬虫中经常会用到 urllib.request.urlopen(url）来打开网页的操作 比如获取页面状态返回值 问题是urlopen 在GET请求时 发送的User-Agent 上会发送Python urllib的版本，看下面抓包 看一下源码 正常的请求应该是浏览器的 User-Agent 假如 ...
分类：
Web程序 时间：
2017-04-09 13:58:27
阅读次数：
4652
Django站点使用django_cas接入SSO（单点登录系统），配置完成后登录，抛出“urlopen error unknown url type: https”异常。寻根朔源发现是python内置的urllib模块不支持https协议。 >>> import urllib>>> urllib. ...
分类：
编程语言 时间：
2017-04-09 12:37:04
阅读次数：
214
#coding=utf-8 #urllib模块提供了读取Web页面数据的接口 import urllib #re模块主要包含了正则表达式 import re #定义一个getHtml()函数 def getHtml(url): page = urllib.urlopen(url) #urllib.u... ...
分类：
其他好文 时间：
2017-04-08 23:45:18
阅读次数：
236
前一段时间是爬文字，最近准备爬图片 找到了两种保存文件的方法 一种是用urllib.urlretrieve方法 这个回调函数还是蛮方便的，在下大文件的时候，能够直观的看到下载情况 还有一个是用open和write方法来下载 ...
分类：
编程语言 时间：
2017-04-08 13:01:30
阅读次数：
246
首先说明的是Sumblime Text 3，下载安装后，打开软件 在红色箭头指定的控制区域粘贴下面这段英文 import urllib.request,os,hashlib; h = '2915d1851351e5ee549c20394736b442' + '8bc59f460fa1548d1514 ...
分类：
其他好文 时间：
2017-04-08 11:21:48
阅读次数：
248
分类： Python/Ruby 最近刚开始使用python来做爬虫爬取相关数据，使用了python自带的urllib和第三方库requests，解析html使用了beautifulsoup以及lxml 这里说下lxml，lxml是python的一个html、xml解析库，lxml使用XPath能快速 ...
分类：
编程语言 时间：
2017-04-07 20:02:15
阅读次数：
387
Package Control组件： 按Ctrl+`调出console 粘贴以下代码到底部命令行并回车： import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_package ...
分类：
其他好文 时间：
2017-04-07 13:19:38
阅读次数：
228
urllib.request 1、定义 用于打开URL的可扩展库，定义了基本和摘要式身份验证、重定向、cookies等应用中打开URL（主要是HTTP）的函数和类。 2、函数 urllib.request.urlopen(url,data=None,url, data=None) url:网址 da ...
分类：
Web程序 时间：
2017-04-05 23:17:29
阅读次数：
187
urllib2是Python的一个库（不用下载，安装，只需要使用时导入import urllib2）它提供了一系列用于操作URL的功能。 urlopen urllib2.urlopen可以接受Request对象,urllib不能，本文采用urllib2 urllib2.urlopen(url, *d ...
分类：
Web程序 时间：
2017-04-05 14:41:09
阅读次数：
173
##author:wuhao##爬取指定页码的图片，如果需要爬取某一类的所有图片，整体框架不变，但需要另作分析#import urllib.requestimport urllib.parseimport reimport os#添加headerheader=\ { 'User-Agent': 'M... ...
分类：
编程语言 时间：
2017-04-02 17:53:04
阅读次数：
359
