import urllib2from StringIO import StringIOimport gzip def loadData(url): request = urllib2.Request(url) request.add_header('Accept-encoding', '...
分类：
其他好文 时间：
2015-08-07 07:04:26
阅读次数：
233
零基础写python爬虫之urllib2使用指南 前面说到了urllib2的简单入门，下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。 如果想在程序中明确控制 ...
分类：
编程语言 时间：
2015-08-06 09:36:40
阅读次数：
241
python写爬虫使用urllib2方法
整理了一部分urllib2的使用细节。
1.Proxy 的设置
urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。
如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用代理。
新建test14来实现一个简单的代理Demo：
import urllib2
e...
分类：
编程语言 时间：
2015-08-06 09:34:51
阅读次数：
271
简单小爬虫#!/usr/bin/envpython#coding:utf-8importurllib2importbs4url=‘http://www.163.com‘content=urllib2.urlopen(url).read()content=content.decode(‘gbk‘)soup=bs4.BeautifulSoup(content)links=soup.select(‘lia[href]‘)result=[]forlinkinlinks:href=link.attrs[‘hr..
分类：
其他好文 时间：
2015-08-04 23:15:28
阅读次数：
230
问题：在Python3.4中 运行如下代码报错，找不到urllib2
import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
print response.read()
解决办法：
import urllib.request
resp=urllib.request.urlopen('http...
分类：
编程语言 时间：
2015-08-04 17:15:14
阅读次数：
295
1、安装Sublime Package Control
用Ctrl+～打开控制台并在里面输入以下代码：
import urllib2,os; pf='Package Control.sublime-package'; ipp=sublime.installed_packages_path(); os.makedirs(ipp) if not os.path.exists(ipp) else N...
分类：
其他好文 时间：
2015-08-02 21:43:48
阅读次数：
164
图片处理如何处理图片
拿到网页
使用正则表达式匹配
使用urlretrieve下载图片
import re
import urllib2
import urllibdef getContext(url):
'''
获取html
'''
html = urllib2.urlopen(url) return html.read()def getPicture(htm...
分类：
其他好文 时间：
2015-08-02 18:21:29
阅读次数：
100
urllib2模块标签（空格分隔）： python之前的存在的问题import urllib2url = 'http://blog.csdn.net/weiyongxuan/article/details/47193245'page = urllib2.urlopen(url)'''
报错
urllib2.HTTPError: HTTP Error 403: Forbidden使用urllib2模...
分类：
Web程序 时间：
2015-08-02 16:49:39
阅读次数：
165
总体功能：下载百度贴吧网页的图片
这个例子延续了上一个抓取贴吧楼主发布内容的例子，上一个例子是把图片剔除掉了，这边重新做了一个下载图片的demo，比较简单。
代码：
# -*- encoding:utf-8 -*-
# 下载贴吧的图片
import re
import urllib
import urllib2
#下载百度贴吧图片类
class DownloadIm...
分类：
其他好文 时间：
2015-08-02 11:49:21
阅读次数：
213
