requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码。我也看了下req...
分类:
编程语言 时间:
2015-12-29 14:15:31
阅读次数:
363
1 import sys, urllib22 # req = urllib2.Request(sys.argv[1])3 req = urllib2.Request('http://www.sina.com.cn')4 fd = urllib2.urlopen(req)5 print "Retrie...
分类:
编程语言 时间:
2015-12-28 23:16:29
阅读次数:
250
1.先安装包管理器参考:Installation – Package Control用其最新代码(经过去除多余的空格后):import urllib2,os,hashlib;h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a3098092775ccb37c...
分类:
编程语言 时间:
2015-12-28 16:57:36
阅读次数:
214
#coding:utf-8import urllib2from bs4 import BeautifulSoupresponse=urllib2.urlopen("http://www.163.com")HtmlDoc=response.read()soup = BeautifulSoup(Html...
分类:
其他好文 时间:
2015-12-27 06:19:02
阅读次数:
516
1. 安装万能的pip&easy_installpip install multi-mechanize mechanize numpy matplotlibmechanize是一个模拟browser行为的一个库,当然你也可以用其它的如urllib2、request、tornado.httpclien...
分类:
其他好文 时间:
2015-12-23 10:39:48
阅读次数:
141
作为一名从小就看篮球的球迷,会经常逛虎扑篮球及湿乎乎等论坛,在论坛里面会存在很多精美图片,包括NBA球队、CBA明星、花边新闻、球鞋美女等等,如果一张张右键另存为的话真是手都点疼了。作为程序员还是写个程序来进行吧!所以我通过Python+Selenium+正则表达式+urllib2进行海量图片爬取。...
分类:
编程语言 时间:
2015-12-18 06:53:13
阅读次数:
373
subline text2输入import urllib2,os,hashlib; h = '2915d1851351e5ee549c20394736b442' + '8bc59f460fa1548d1514676163dafc88'; pf = 'Package Control.sublime-p...
分类:
其他好文 时间:
2015-12-17 22:11:55
阅读次数:
231
Sublime Text2安装 Package Control,有两种方式,一是通过 Ctrl + ` 输入以下代码回车,即可在线安装:import urllib2,os; pf='Package Control.sublime-package'; ipp = sublime.installed_p...
分类:
其他好文 时间:
2015-12-16 23:14:12
阅读次数:
412
这里记录的是一个门外汉解决使用 urllib2 抓取网页时遇到乱码、崩溃、求助、解决和涨经验的过程。这类问题,事后看来只是个极小极小的坑,不过竟然花去很多时间,也值得记录一下。过程如下:目标:抓取http://sports.sina.com.cn/g/premierleague/index.shtm...
分类:
编程语言 时间:
2015-12-16 21:05:26
阅读次数:
284
测试环境:python2.7 + beautifulsoup4.4.1 + selenium2.48.0测试网址:http://tieba.baidu.com/p/2827883128目的是下载该网页下所有图片,共160+张。可以分为以下几步:1、获取网页源代码。发现直接通过urllib2或者req...
分类:
编程语言 时间:
2015-12-06 15:55:01
阅读次数:
301