Python爬虫总结（二）常见数据类型 上一篇我们简单介绍了如何用Python发送 http/https 请求获取网上数据,从web上采集回来的数据的数据类型有很多种,主要有: 注意:这里很多概念都是web前端开发里的,因为我们采集的大多数数据都来自web,因此了解一些前端知识还是挺有必要的. 下面 ...
分类：
编程语言 时间：
2016-07-31 20:36:41
阅读次数：
314
Python爬虫总结（一）入门 很多做数据分析的同学会抱怨没有实际数据，感觉巧妇难为无米之炊，而火车头采集器一类的软件很难完成一些定制性很强的数据采集任务，这时候就需要自己编写爬虫来采集数据了。python是目前做爬虫比较流行的工具。 爬虫的一般原理 爬虫一般通过发送http/https请求，从服务 ...
分类：
编程语言 时间：
2016-07-30 12:06:32
阅读次数：
194
转载：http://www.studyofnet.com/news/1094.html 本文导读：Fiddler是好用的WebApi调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置断点，甚至修改输入输出数据，Fiddler 是以代理web服务器的形式工作的，使用F ...
转自@小坦克的Fiddler教程，自己正在学习中，偶然发现小坦克不置顶了，怕后面文章被删了，因此手动截取，方便自己随时查看。小坦克是我的老师，文章都挺好的，以后要多向老师学习。 Fiddler是最强大最好用的Web调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置断 ...
分类：
其他好文 时间：
2016-07-09 00:31:01
阅读次数：
207
原文地址：http://m.jb51.net/show/56492 这篇文章主要介绍了php之curl实现http与https请求的方法,分别讲述了PHP访问http网页与访问https网页的实例,以及相关的注意事项,需要的朋友可以参考下 本文实例讲述了php之curl实现http与https请求的 ...
分类：
Web程序 时间：
2016-07-08 19:39:06
阅读次数：
146
1.设置好浏览器代理 2. 3.请求https站点（比如https://www.baidu.com）,以火狐浏览器例子： 4. 这一步主要是为了显示【我已充分了解可能的风险】，如果有，就不用做以上步骤 5.导出证书 6.导入证书： ...
分类：
Web程序 时间：
2016-07-07 19:05:28
阅读次数：
322
HTTPS在HTTP的基础上加入了SSL协议，SSL依靠证书来验证服务器的身份，并为浏览器和服务器之间的通信加密。具体是如何进行加密，解密，验证的，且看下图，下面的称为一次握手。 1. 客户端发起HTTPS请求 2. 服务端的配置 采用HTTPS协议的服务器必须要有一套数字证书，可以是自己制作或者C ...
分类：
Web程序 时间：
2016-07-06 17:53:48
阅读次数：
176
xcode自7后不再使用http，而是使用https请求，但目前很多网络请求还只是以http请求，我们可以这样解决 info.plist->添加@“App Transport Security Settings”字段->添加“Allow Arbitrary Loads”字段，并将对应的value值设 ...
分类：
移动开发 时间：
2016-06-21 12:43:47
阅读次数：
197
Fiddler的基本介绍 Fiddler的官方网站: www.fiddler2.com Fiddler官方网站提供了大量的帮助文档和视频教程， 这是学习Fiddler的最好资料。 Fiddler是最强大最好用的Web调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置 ...
分类：
其他好文 时间：
2016-06-16 18:00:51
阅读次数：
188
一、http请求 1、http请求方式：get和post get一般用于获取/查询资源信息，在浏览器中直接输入url+请求参数点击enter之后连接成功服务器就能获取到的内容，post请求一般用于更新资源，通过form表单或者json、xml等其他形式提交给服务器端，然后等待服务器端给返回一个结果的 ...
分类：
编程语言 时间：
2016-06-14 17:43:06
阅读次数：
5819
