1 # -*- coding:utf-8 -*- 2 import urlparse 3 import urllib2 4 from bs4 import BeautifulSoup 5 6 url = "http://www.baidu.com" 7 8 urls = [url] # stack ... ...
分类：
Web程序 时间：
2017-10-08 16:15:13
阅读次数：
245
首先要说明的是，一下代码是在python2.7版本下检测的 一.最简单的爬虫程序 1、urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。他以urlopen函数的形式提供了一个非常简单的接口，这是具有利用不同协议获取URLs的能力；它同样提供了 ...
分类：
编程语言 时间：
2017-10-08 00:53:13
阅读次数：
146
刚好用到，这篇文章写得不错，转过来收藏。 转载自 道可道 | Python 标准库 urllib2 的使用细节 Python 标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如 urllib2 这个 HTTP 客户端库。这里总结了一些 urllib2 库的使用细 ...
分类：
编程语言 时间：
2017-10-07 22:03:39
阅读次数：
178
一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。在Python中，可以使用urllib2中的Pro ...
分类：
编程语言 时间：
2017-10-04 16:18:34
阅读次数：
164
1 # _*_ coding:utf-8 _*_ 2 import urllib2 3 from bs4 import BeautifulSoup 4 5 user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KH... ...
分类：
其他好文 时间：
2017-10-03 23:31:24
阅读次数：
274
程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。 过程分析： 一、进入斗鱼首页http://www.douyu.com/directory/all 进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将 ...
分类：
编程语言 时间：
2017-10-01 23:06:05
阅读次数：
478
引自：http://www.cnblogs.com/taichu/p/5251332.html ########################### ...
分类：
编程语言 时间：
2017-09-28 19:15:39
阅读次数：
241
用requests库和BeautifulSoup4库，爬取校园新闻列表的时间、标题、链接、来源。 import urllib.request as urllib2 from bs4 import BeautifulSoup url='http://news.gzcc.cn/html/xiaoyuan ...
分类：
其他好文 时间：
2017-09-28 15:10:19
阅读次数：
165
#!/usr/bin/envpython
#-*-coding:utf-8-*-
#2017-07-25编写
importjson
importsys
importurllib,urllib2
"""
CorpID企业ID
Secret应用密钥
"""
CorpID=‘‘
Secret=‘‘
touser=‘@all‘
content=‘‘
#获取access_token
defgetToken(CorpID,Secret):
url=‘https://qyapi.weixin.qq..
分类：
微信 时间：
2017-09-26 10:41:48
阅读次数：
2973
在Python中涉及到URL请求相关的操作涉及到模块有urllib,urllib2,requests,其中urllib和urllib2是Python自带的HTTP访问标准库,requsets是第三方库,需要自行安装。requests是第三方库,可以想到在使用起来它可能是最方便的一个。 urllib和 ...
分类：
编程语言 时间：
2017-09-25 00:51:22
阅读次数：
231
