python2环境下关于urllib2的使用可以学习这篇文章。 本文主要针对python3环境下使用urllib模块实现简单程序爬虫。 链接：https://www.jianshu.com/p/31833117b34b urllib模块的使用 1.数据编码处理 我们通过爬虫程序可以得到网站返回的数据 ...
分类：
Web程序 时间：
2018-12-01 15:24:38
阅读次数：
214
#coding=utf-8 import urllib2 from HTMLParser import HTMLParser class HttpParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.move=[... ...
分类：
其他好文 时间：
2018-11-29 11:00:39
阅读次数：
222
今天发现平时每小时报表内容少了好几个table，感觉好奇怪，这个代码很稳定跑了好长时间了，不知道哪里出来问题，幸亏代码做了异常处理。否则我估计邮件都会发不出来了，看了下日志文件，有报错日志记录如下：`page=urllib2.urlopen(url,timeout=300)File"/usr/local/lib/python2.7/urllib2.py",line154,inu
分类：
编程语言 时间：
2018-11-20 19:37:12
阅读次数：
203
工具： python+urllib/urllib2/urllib3.... 安装： pip install urllib/urllib2/urllib3 urllib2用法： ...
分类：
Web程序 时间：
2018-11-10 12:59:32
阅读次数：
243
工具： python+urllib2 用法： 访问外国网站的代理方案 ...
分类：
其他好文 时间：
2018-11-10 12:41:48
阅读次数：
193
python爬虫-基础入门-爬取整个网站《3》 描述： 前两章粗略的讲述了python2、python3爬取整个网站，这章节简单的记录一下python2、python3的区别 python2.x 使用类库： >> urllib 库 >> urllib2 库 python3.x 使用的类库： >> u ...
分类：
编程语言 时间：
2018-11-04 12:42:22
阅读次数：
146
requests介绍 requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那我们为什么要用requests而不用urllib2呢？官方文档中是这样说明的：python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一 ...
分类：
编程语言 时间：
2018-11-02 01:43:52
阅读次数：
307
python中有多种库可以用来处理http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了，requests库使用了urllib3。requests库的口号是“HTT ...
分类：
Web程序 时间：
2018-10-30 17:26:24
阅读次数：
147
若只使用python3.X, 下面可以不看了, 记住有个urllib的库就行了 python2.X 有这些库名可用: urllib, urllib2, urllib3, httplib, httplib2, requests python3.X 有这些库名可用: urllib, urllib3, h ...
分类：
Web程序 时间：
2018-10-29 23:34:16
阅读次数：
407
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u ...
分类：
Web程序 时间：
2018-10-29 20:41:59
阅读次数：
197
