原文http://www.cnblogs.com/smarterplanet/p/4088479.html现在加最后一样，就是oauth2，现在很多网站都有对应的移动版本，那么移动端访问服务端的服务怎么控制权限，我知道的主要是两种方法，第一是模拟浏览器，访问服务的时候会生成session，之后在移动...
分类：
编程语言 时间：
2015-05-02 18:03:10
阅读次数：
282
python模拟浏览器登陆淘宝，其中有输入验证码和打开浏览器，设置代理IP等等。...
分类：
编程语言 时间：
2015-04-27 09:48:30
阅读次数：
188
想要实现网站的登陆，post方法就是提交数据到网站，所以要post数据来用python实现登陆。当你想要登陆人人时，首先要知道网站的登陆细节（先发送账号和密码，返回cookie值，发送cookie到服务器，返回页面，再使用正则提取你想要的数据），我是通过HTTPfox来抓取http数据包来分析这个网站的登陆流程。同时，我们还要分析抓到的post包的数据结构和header，要根据提交的数据结构和he...
分类：
编程语言 时间：
2015-04-25 18:23:06
阅读次数：
149
可以把urllib2当作urllib的扩增，比较明显的优势是urllib2.urlopen可以接受Request对象作为参数，从而可以控制HTTP Request的headers,进而实现模拟浏览器、模拟登录等操作。
做HTTP Request时应当尽量使用urllib2库，但是urllib.urlretrieve函数以及urllib.quote等一系列quote和unquote功能没有被加入ur...
分类：
编程语言 时间：
2015-04-23 13:27:14
阅读次数：
128
原文链接：http://yangshangchuan.iteye.com/blog/2030741当我们配置Nutch抓取 http://yangshangchuan.iteye.com的时候，抓取的所有页面内容均为：您的访问请求被拒绝 ...... 这是最简单的反爬虫策略（该策略简单地读取HTTP...
分类：
其他好文 时间：
2015-04-21 12:59:24
阅读次数：
146
在本文中， 我们来玩一下http. 既然你看到了这篇文章， 那就说明你肯定直接或间接借助了http协议（浏览器的实现需要用到http协议）。 很多书本把http介绍得玄乎其玄， 高深莫测， 其实， http也没什么大不了的。
当我们用浏览器看登录www.baidu.com的时候， 浏览器相当于客户端， 而服务端是百度公司掌控着。 要想大致了解http, 网上资料可...
分类：
Web程序 时间：
2015-04-16 01:32:29
阅读次数：
730
通过curl命令抓取网页内容，关键点如下：
1.curl要模拟浏览器，最好是有个代理，因为很多站点都会搞个反爬虫什么的。
2.我的需求很简单，就是在国家外汇管理局上下载各种货币对美元的汇率。
http://www.safe.gov.cn/wps/portal/sy/tjsj_dmzsl
3.主要命令：curl，grep，awk，xls2txt，msql(LOAD DATA )。
cu...
分类：
Web程序 时间：
2015-04-15 19:42:27
阅读次数：
212
两个栈来模拟浏览器的操作，简单模拟。 1 #include 2 #include 3 #include 4 using namespace std; 5 6 stack forward; 7 stack back; 8 9 int main ()10 {11 string cur(...
分类：
其他好文 时间：
2015-04-13 20:41:47
阅读次数：
107
Snoopy.class.php下载Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上，并且支持PCRE（Perl Compatible Regular Expressions），基本的LAMP服务都支持。一、Snoo...
分类：
Web程序 时间：
2015-04-12 16:03:10
阅读次数：
136
public string GetHtml(string url, Encoding ed) { string Html = string.Empty;//初始化新的webRequst HttpWebRequest Request = (Ht...
