urllib 和urllib2都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的不同如下 urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL ...
分类：
Web程序 时间：
2017-04-10 19:14:15
阅读次数：
184
前言 Python非常适合用来开发网页爬虫，理由如下：1、抓取网页本身的接口相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好... ...
分类：
编程语言 时间：
2017-04-10 15:19:32
阅读次数：
357
b=urllib2.urlopen("http://www.baidu.com")a=b.read()#这里读取的是html中的json格式的内容a1=json.loads(a)#把读取到的内容从json转换成Python中的字典格式print a1['消息状态']#用Python中的字典取值方法 ...
分类：
编程语言 时间：
2017-04-06 22:00:15
阅读次数：
170
urllib2是Python的一个库（不用下载，安装，只需要使用时导入import urllib2）它提供了一系列用于操作URL的功能。 urlopen urllib2.urlopen可以接受Request对象,urllib不能，本文采用urllib2 urllib2.urlopen(url, *d ...
分类：
Web程序 时间：
2017-04-05 14:41:09
阅读次数：
173
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。 在此之前呢 ...
分类：
编程语言 时间：
2017-04-01 18:21:16
阅读次数：
237
一、urllib2简单获取html页面 简单的几行代码就能拿到html页面，接下来局势html的解析工作了。 想象很美好，实际操作就出问题了。baidu没有禁止机器人抓取可以正常抓取到页面，但是比如：https://b.ishadow.tech/是禁止机器人抓取的，简单模拟浏览器头部信息也不行。 然 ...
分类：
编程语言 时间：
2017-03-31 00:07:22
阅读次数：
465
#coding:utf-8 import urllib2 def url_user_agent(proxy,url): proxy_support = urllib2.ProxyHandler({'http':proxy}) opener = urllib2.build_opener(proxy_s... ...
分类：
编程语言 时间：
2017-03-29 13:22:26
阅读次数：
240
课程目标：python开发轻量级爬虫课程内容：爬虫简介爬虫：一段自动抓取互联网信息的程序简单爬虫架构爬虫调度器URL管理器、网页下载器（urllib2）、网页解析器（BeautifulSoup4）网页生成器完整实例爬取百度百科1000个页面的数据 null ...
分类：
编程语言 时间：
2017-03-25 17:39:40
阅读次数：
164
Python线程 Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。 上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。 更多方法： start 线程准备就绪，等待CPU调度 setName 为线程设置名称 getName ...
分类：
编程语言 时间：
2017-03-18 17:43:26
阅读次数：
281
0x01 WEB urllib2.Request()//可以定制请求HTTP报头 urllib.urlretrieve()//可以用来下载文件 requests库（第三方库：pip install requests安装即可使用） ...
分类：
编程语言 时间：
2017-03-17 00:34:11
阅读次数：
155
