参考： https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbidden https://segmentfault.com/q/1010000000470724 通过测试应该是request ...
分类：
Web程序 时间：
2017-08-20 10:12:00
阅读次数：
261
Python爬虫进阶之Scrapy框架安装配置 初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。 Windows 平台： 我的系统是 Win7，首先，你要有Python，我用的是2.7. ...
分类：
编程语言 时间：
2017-08-19 12:57:26
阅读次数：
237
1.提取某一页的所有段子
#-*-coding:utf-8-*-
importurllib
importurllib2
importre
page=1
url=‘http://www.qiushibaike.com/hot/page/‘+str(page)
user_agent=‘haha/4.0(compatible;MSIE5.5;WindowsNT)‘
headers={‘User-Agent‘:user_agent}
try:
request=urllib2.Request(..
分类：
其他好文 时间：
2017-08-17 13:02:49
阅读次数：
142
Sublime Package Control 功能：安装包管理 简介：sublime插件控制台，提供添加、删除、禁用、查找插件等功能 使用：https://sublime.wbond.net/installation 安装方法： ST2： 1 import urllib2,os; pf='Pack ...
分类：
其他好文 时间：
2017-08-16 13:19:02
阅读次数：
243
首先爬虫是什么？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 根据我的经验，要学习Python爬虫，我们要学习的共有以下几点： Python基础知识 Python中urllib和urllib2库的用 ...
分类：
编程语言 时间：
2017-08-15 10:17:32
阅读次数：
166
首先我们导入几个pyhton3的库: 在Python2和Python3之间一个重要区别就是，在Python2有urllib,urllib2两个库，在Python3整合到一起，里面的函数方式也有一点变，先定义一个函数，将header,url,request，都打包成一个函数方便调用，且看下面代码： 再 ...
分类：
编程语言 时间：
2017-08-15 10:03:45
阅读次数：
196
网页下载器：将互联网上URL对应的网页下载到本地的工具 通过网页下载器将互联网中的url网页，存储到本地或内存字符串 python有哪几种网页下载器？ 1.urllib2 python官方基础模块 2.requests python第三方包更强大 urllib2下载网页方法1：最简洁方法 url > ...
分类：
Web程序 时间：
2017-08-14 20:02:06
阅读次数：
168
1.参考 tor？ http://docs.python-requests.org/en/master/user/advanced/ Using Python’s urllib2 or Requests with a SOCKS5 proxy Python中Request 使用socks5代理的两种 ...
分类：
编程语言 时间：
2017-08-13 00:15:07
阅读次数：
273
#-*-coding:utf-8-*-
importurllib2
response=urllib2.urlopen(‘http://hq.sinajs.cn/list=sh601006‘)
html=response.read()
printhtml.decode("gbk")股票数据的获取目前有如下两种方法可以获取：1.http/JavaScript接口取数据2.web-service接口1.http/javascript接口取数据1.1..
分类：
编程语言 时间：
2017-08-07 17:39:59
阅读次数：
179
