问题:urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常例如 执行下面的语句时[python] urllib.request.urlopen...
分类：
Web程序 时间：
2015-08-31 18:54:28
阅读次数：
169
requests简介
requests是python的一个HTTP客户端库，跟urllib，urllib2类似，但是python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。
Requests 使用的是 urllib3，因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池，支持使用 cookie 保持会话...
分类：
编程语言 时间：
2015-08-29 12:38:32
阅读次数：
253
比如爬baidu.com, 在python 3.4 中应该这么写 import urllib.request
def getHtml(url):
page = urllib.request.urlopen(url)
html = page.read()
return html
html = getHtml("http://baidu.com")
print (html...
分类：
编程语言 时间：
2015-08-27 15:14:06
阅读次数：
141
博客园限制附件大小，分为两个卷：分卷1分卷2装个插件管理器：import urllib.request,os;pf='Package Control.sublime-package';ipp=sublime.installed_packages_path();urllib.request.inst....
分类：
系统相关 时间：
2015-08-27 10:53:53
阅读次数：
156
引言 Python 的Web 应用：简单的Web 客户端 urlparse 和 urllib 模块 高级的 Web 客户端 网络爬虫/蜘蛛/机器人 CGI:帮助 Web 服务器处理客户端数据 创建 CGI 应用程序 在 CGI 中使用Unicode 高级 CGI...
分类：
编程语言 时间：
2015-08-21 19:17:51
阅读次数：
408
原来Subl3安装Package Control很麻烦，现在简单的方法来了 ? 一、简单的安装方法 使用Ctrl+`快捷键或者通过View->Show Console菜单打开命令行，粘贴如下代码： 1 import?urllib.request,os; pf?=?‘Package Co...
分类：
其他好文 时间：
2015-08-21 00:33:52
阅读次数：
1425
至于宽字节注入，有人写过，我就不多写了：https://www.91ri.org/8611.htmlhttp://netsecurity.51cto.com/art/201404/435379_4.htm针对iconv()函数，我就试着写了个utf-8和gbk的url编码转换importos,urllib
print"""ifuwantchangegbktoutf-8,pleaseinputgbk,soasinpututf-8.
in..
分类：
其他好文 时间：
2015-08-21 00:27:39
阅读次数：
261
Python入门网络爬虫之精华版Python学习网络爬虫主要分3个大的版块：抓取，分析，存储
另外，比较常用的爬虫框架Scrapy，这里最后也介绍一下。
先列举一下相关参考：宁哥的小站-网络爬虫 抓取这一步，你要明确要得到的内容是是什么？是HTML源码，还是Json格式的字符串等等。 1. 最基本的抓取一般属于get请求情况，直接从服务器上获取数据。
首先，Python中自带urllib及...
分类：
编程语言 时间：
2015-08-19 13:22:48
阅读次数：
220
步骤：在Sublime Text里，按ctrl+`，打开Console，一次性输入如下代码：import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(...
分类：
其他好文 时间：
2015-08-18 21:18:40
阅读次数：
101
#!/usr/bin/env python#coding:utf-8import urllibimport redef GetHtml(url): """获取HTML页面所有元素.""" page = urllib.urlopen(url) html = page.read() ...
分类：
编程语言 时间：
2015-08-18 18:40:11
阅读次数：
118
