说明:仅为测试下载图片、正则表达式
测试url为钢铁侠贴吧的一个介绍mark各代盔甲帖子
以下代码将第一页的图片全部下载到本程序根目录#!/usr/bin/env python
#! -*- coding: utf-8 -*-
import urllib,urllib2
import re
#返回网页源代码
def getHtml(url):
html = urllib2.urlopen...
分类:
编程语言 时间:
2015-04-23 13:27:53
阅读次数:
184
可以把urllib2当作urllib的扩增,比较明显的优势是urllib2.urlopen可以接受Request对象作为参数,从而可以控制HTTP Request的headers,进而实现模拟浏览器、模拟登录等操作。
做HTTP Request时应当尽量使用urllib2库,但是urllib.urlretrieve函数以及urllib.quote等一系列quote和unquote功能没有被加入ur...
分类:
编程语言 时间:
2015-04-23 13:27:14
阅读次数:
128
1. 问题背景在使用urllib2 module抓取web数据时,如果希望使用如何request header,减少传输时数据量。返回的数据,是经过gzip压缩的。直接按照 content.decode(“utf8”), 解码会出现异常,并且也无法检测网页数据的实际编码类型。2. 问题分析因为http请求中,如果在request header包含”Accept-Encoding”:”gzip, de...
分类:
编程语言 时间:
2015-04-23 13:16:48
阅读次数:
225
启用方法:菜单栏 – View – Show Console,贴入以下代码并回车,然后重启Sublime。import urllib2,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();os.m...
分类:
其他好文 时间:
2015-04-15 22:55:29
阅读次数:
127
1、安装Sublime Package Control。 在Sublime Text 2上用Ctrl+~打开控制台并在里面输入以下代码,Sublime Text 2就会自动安装Package Control。 import urllib2,os; pf=‘Package Control.sublime-package‘; ipp...
分类:
其他好文 时间:
2015-04-14 10:05:03
阅读次数:
115
百度不支持用tornado请求,可以用美团开放API 测试。 1 import tornado.httpclient 2 3 def fetch(url): 4 http_header={'User-Agent':'Chrome'} 5 http_request=tornado.httpclien....
分类:
Web程序 时间:
2015-04-14 01:55:29
阅读次数:
912
一.安装Package Control如果Preferences中没有Package Control,需要手动安装。安装方法如下:访问Package Controls站点复制一段python命令安装,也可以直接复制一下代码至控制台(唤起控制台:Ctrl+~)import urllib2,os,has...
分类:
其他好文 时间:
2015-04-13 18:03:12
阅读次数:
145
requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码1. 安装:方....
分类:
编程语言 时间:
2015-04-13 12:39:40
阅读次数:
166
1 import urllib 2 import urllib2 3 import requests 4 import re 5 6 student = 八位学号 7 password = 密码 8 postdata = urllib.urlencode({ 9 'u':student,...
分类:
其他好文 时间:
2015-04-11 19:17:32
阅读次数:
285
python用requests和urllib2两种方式调用图灵机器人接口...
分类:
编程语言 时间:
2015-04-11 14:55:41
阅读次数:
189