码迷,mamicode.com
首页 >  
搜索关键字:urllib2    ( 900个结果
[python][爬虫]从网页中下载图片
说明:仅为测试下载图片、正则表达式 测试url为钢铁侠贴吧的一个介绍mark各代盔甲帖子 以下代码将第一页的图片全部下载到本程序根目录#!/usr/bin/env python #! -*- coding: utf-8 -*- import urllib,urllib2 import re #返回网页源代码 def getHtml(url): html = urllib2.urlopen...
分类:编程语言   时间:2015-04-23 13:27:53    阅读次数:184
[python]urllib与urllib2的常用函数
可以把urllib2当作urllib的扩增,比较明显的优势是urllib2.urlopen可以接受Request对象作为参数,从而可以控制HTTP Request的headers,进而实现模拟浏览器、模拟登录等操作。 做HTTP Request时应当尽量使用urllib2库,但是urllib.urlretrieve函数以及urllib.quote等一系列quote和unquote功能没有被加入ur...
分类:编程语言   时间:2015-04-23 13:27:14    阅读次数:128
python以gzip header请求html数据时,response内容乱码无法解码的解决方案
1. 问题背景在使用urllib2 module抓取web数据时,如果希望使用如何request header,减少传输时数据量。返回的数据,是经过gzip压缩的。直接按照 content.decode(“utf8”), 解码会出现异常,并且也无法检测网页数据的实际编码类型。2. 问题分析因为http请求中,如果在request header包含”Accept-Encoding”:”gzip, de...
分类:编程语言   时间:2015-04-23 13:16:48    阅读次数:225
Sublime Text插件安装
启用方法:菜单栏 – View – Show Console,贴入以下代码并回车,然后重启Sublime。import urllib2,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();os.m...
分类:其他好文   时间:2015-04-15 22:55:29    阅读次数:127
解决Sublime Text 2中文乱码
1、安装Sublime Package Control。 在Sublime Text 2上用Ctrl+~打开控制台并在里面输入以下代码,Sublime Text 2就会自动安装Package Control。 import urllib2,os; pf=‘Package Control.sublime-package‘; ipp...
分类:其他好文   时间:2015-04-14 10:05:03    阅读次数:115
网络爬虫urllib2 tornado
百度不支持用tornado请求,可以用美团开放API 测试。 1 import tornado.httpclient 2 3 def fetch(url): 4 http_header={'User-Agent':'Chrome'} 5 http_request=tornado.httpclien....
分类:Web程序   时间:2015-04-14 01:55:29    阅读次数:912
Sublime Text2安装emmet
一.安装Package Control如果Preferences中没有Package Control,需要手动安装。安装方法如下:访问Package Controls站点复制一段python命令安装,也可以直接复制一下代码至控制台(唤起控制台:Ctrl+~)import urllib2,os,has...
分类:其他好文   时间:2015-04-13 18:03:12    阅读次数:145
python request的运用
requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码1. 安装:方....
分类:编程语言   时间:2015-04-13 12:39:40    阅读次数:166
北京交通大学研究生教务处爬虫
1 import urllib 2 import urllib2 3 import requests 4 import re 5 6 student = 八位学号 7 password = 密码 8 postdata = urllib.urlencode({ 9 'u':student,...
分类:其他好文   时间:2015-04-11 19:17:32    阅读次数:285
python用requests和urllib2两种方式调用图灵机器人接口
python用requests和urllib2两种方式调用图灵机器人接口...
分类:编程语言   时间:2015-04-11 14:55:41    阅读次数:189
900条   上一页 1 ... 69 70 71 72 73 ... 90 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!