python实现HTTP请求的三中方式：urllib2/urllib、httplib/urllib 以及Requests urllib2/urllib实现 urllib2和urllib是python两个内置的模块，要实现HTTP功能，实现方式是以urllib2为主，urllib为辅 1 首先实现一个 ...
分类：
编程语言 时间：
2018-08-01 22:31:40
阅读次数：
257
# -*- coding: utf-8 -*- def loadPage() """ 请求Queryparser页面结果 """ url = "" key = urllib.urlopen(question) # 构造url url = url + key + "" headers = {} req... ...
分类：
其他好文 时间：
2018-08-01 11:57:08
阅读次数：
160
爬取慕课课程图片https://www.imooc.com/course/list 图片url ...
分类：
编程语言 时间：
2018-07-30 14:52:11
阅读次数：
241
爬虫学习--下载图片 1.主要用到了urllib和re库 2.利用urllib.urlopen()函数获得页面源代码 3.利用正则匹配图片类型,当然正则越准确，下载的越多 4.利用urllib.urlretrieve()下载图片，并且可以重新命名，利用%S 5.应该是运营商有所限制，所以未能下载全部... ...
分类：
编程语言 时间：
2018-07-29 11:55:07
阅读次数：
149
1、urlopen 2、request 3、user_agent（用户代理） 4、更多Header信息 在 HTTP Request 中加入特定的 Header，来构造一个完整的HTTP请求消息。 5、urllib和urllib2 urllib 仅可以接受URL，不能创建 设置了headers 的R ...
分类：
编程语言 时间：
2018-07-28 20:32:47
阅读次数：
203
1.1.urlopen函数的用法 1.2.urlretrieve函数 将网页上的文件保存到本地 1.3.参数编码和解码函数 urlencode函数用于编码中文和特殊字符 parse_qs函数用于将经过编码后的url参数进行解码。 1.4.urlparse和urlsplit函数用法 urlparse和 ...
分类：
其他好文 时间：
2018-07-28 15:18:18
阅读次数：
163
前言 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib。 注:此博客开发环境为python3 urlopen 我们先来段代码: 执行写的python代码，将打印结果: 实际上，如果我们在浏览器上打开百度主页 ...
分类：
编程语言 时间：
2018-07-27 23:16:32
阅读次数：
441
一些常用的爬虫技巧归纳与以下几点： 1、基本抓取网页 get方法 import urllib2 url "http://www.baidu.com" respons = urllib2.urlopen(url) print response.read() post方法 import urllib i ...
分类：
编程语言 时间：
2018-07-24 17:52:38
阅读次数：
195
2018/7/21，这几天整理出来的一些Python 爬虫学习代码。 import urllib2 response = urllib2.urlopen("http://baidu.com") html = response.read() print html 进一步，可以request impor ...
分类：
编程语言 时间：
2018-07-23 11:06:47
阅读次数：
155
