1. urllib2的opener和handler概念 1.1Openers： 当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。正常情况下，我们使用默认opener：通过urlopen。但你能够创建个性的openers。可以用build_ope.....
分类：
编程语言 时间：
2015-08-21 22:57:00
阅读次数：
195
Q1：HTTP Error 403: Forbidden python中经常使用urllib2.urlopen函数提取网页源码，但是有些时候这个函数返回的却是：HTTP Error 403: Forbidden，这表明源网站不允许爬虫进行爬取 解决方法：伪装成浏览器进行访问 #!/usr/bin/e...
分类：
编程语言 时间：
2015-08-20 10:23:15
阅读次数：
132
经常去站长工具查找某个域名的IP，然后定位这个IP的位置，位于哪里，如哪家省运营商，python可以很好的完成这个任务，主要使用urllib2和re模块
下面就直接贴代码了：
import urllib2
import re
url="ip.chinaz/?IP=211.152.42.6"
res=urllib2.urlopen(url)
msg=res.read()
#此处一定...
分类：
编程语言 时间：
2015-08-19 20:39:11
阅读次数：
136
#!/usr/bin/env python#coding:utf-8import urllibimport redef GetHtml(url): """获取HTML页面所有元素.""" page = urllib.urlopen(url) html = page.read() ...
分类：
编程语言 时间：
2015-08-18 18:40:11
阅读次数：
118
from urllib.request import urlopenhtml = urlopen("http://www.baidu.com")print(html.read())注意: 以上代码基于Python 3.x
分类：
编程语言 时间：
2015-08-17 11:57:05
阅读次数：
128
#-*-coding:utf-8-*-
__author__=‘magicpwn‘
importurllib2
importurllib
importCookie
#无参数时，一般访问用法及返回信息的获取
respon=urllib2.urlopen(‘http://www.baidu.com‘)
print‘code:‘,respon.getcode(),‘URL:‘,respon.geturl()
print‘==================Headers====..
分类：
编程语言 时间：
2015-08-17 07:40:28
阅读次数：
341
Traceback (most recent call last): File "F:\adt-bundle-windows-x86_64-20140702\eclipse\workspace1\XueChe\src\xueche2\0\xueche.py", line 19, in dr...
分类：
编程语言 时间：
2015-08-13 17:12:32
阅读次数：
1926
仅以此纪念python标准库学习！翻译什么会有不顺或者错误，见谅啦。。。。 后边为案例。#coding:utf-8import urllib"""本模块提供了通过万维网抓取数据的高级接口。尤其是，urlopen()函数和内置的open()相似，只是接受的参数为Urls，而不是文件名称。有一些限制：该...
分类：
编程语言 时间：
2015-08-11 15:58:52
阅读次数：
172
首先说明:这个代码不是免费下载视频,需要你有vip账号
只是方便大家批量下载
不过体验vip也很好获得,有了体验机会赶紧用这个批量下载吧
完整代码在这:我的github
只需要修改最下面的存储地址和需要下载的页面,就可以将一个页面中的课程的所有视频批量下载到指定文件夹主要是登陆网站这一块废了些时间,简要说一下登陆模块:首先必须有下面这一部分代码,意思是给urlopen()函数加上coo...
分类：
其他好文 时间：
2015-08-08 00:04:25
阅读次数：
130
python3 抓取网页资源的 N 种方法 1、最简单 ?urllib.request
response?=?urllib.request.urlopen()
html?=?response.read() 2、使用 Request ?urllib.request
?
req?=?urllib.request.Request()
respon...
分类：
编程语言 时间：
2015-08-07 07:13:44
阅读次数：
162
