1. 简单说明爬虫原理 上网所看到页面上的内容获取下来，并进行存储。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 浏览器发送请求，服务器接收到，给出响应。 2).使用 requests 库抓取网站数据； 3).了解网页 4).使用 Beautiful Soup 解析网页； 通过Beaut ...
分类：
其他好文 时间：
2019-06-19 20:05:08
阅读次数：
104
1. 简单说明爬虫原理 程序模拟浏览器送请求来获取网页代码，提取出有用的数据，储存起来。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 浏览器提交请求 >下载网页代码 >解析成页面 2).使用 requests 库抓取网站数据； requests.get(url) 获取校园新闻首页html ...
分类：
其他好文 时间：
2019-03-31 23:18:14
阅读次数：
221
1. 简单说明爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 2).使用 requests 库抓取网站数据； requests.get(url) 获取校园新闻首页html代码 3).了解网页 写一个简单的html文件，包含多个标签，类，id 4).使用 Beautiful Soup ...
分类：
其他好文 时间：
2019-03-27 00:16:00
阅读次数：
211
1. 简单说明爬虫原理 a.向服务器发起请求 b.获取响应内容 c.解析内容 d.保存内容 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 输入url，发送请求，通过网络连接，等待服务器相应返回数据，浏览器出现界面 2).使用 requests 库抓取网站数据； requests.get(u ...
分类：
其他好文 时间：
2019-03-25 17:53:48
阅读次数：
151
正则使用几例 最近遇到在后台抓取网站数据入库的需求，有用到相关正则，记录一下 // 这个比较恶心，抓取的数据中出现这种非标准结构，使用正则转换，0 20控制大概范围，紧跟？表示非贪婪模式 new Regex(")").Replace("",""") // 反选 ，匹配除abc外的字符，结果为"at" ...
分类：
其他好文 时间：
2018-11-20 18:18:23
阅读次数：
129
抓取网站数据建议用服务操作，此例只实现从请求到拿数据，并把数据写入xml的功能 List<youcaimodel> _list = new List<youcaimodel>(); int page = 1000; //一共抓取1000页的数据 WebClient client = new WebC ...
分类：
其他好文 时间：
2017-02-08 13:17:32
阅读次数：
295
最近网站一直受到恶意请求和攻击，把最近限制防护历程记录一下： 1、请求次数超过阈值做限制 刚开始网站并没有受到攻击，但有一些恶意抓取网站数据的爬虫，为了防止别人抓取本网站数据，做了请求次数限制，具体思路就是，单位时间内，请求次数超过设定的阈值，自动转向验证码页面，验证通过后可以继续访问，这样既不影响 ...
分类：
Web程序 时间：
2017-01-06 12:46:30
阅读次数：
928
项目主管说这是项目中的一个亮点(无语...)， 类似于爬虫一类的东西，模拟登陆后台系统，获取需要的数据。然后就开始研究这个。 之前有一些数据抓取的经验，抓取流程无非：设置参数->服务端发送请求->解析结果 1、验证码识别 系统的验证码只包含数字，不复杂，所以没有深入研究。 http://www.cn ...
首先从标题说起，为啥说抓取网站数据不再难（其实抓取网站数据有一定难度），SO EASY！！！使用Fizzler全搞定，我相信大多数人或公司应该都有抓取别人网站数据的经历，比如说我们博客园每次发表完文章都会被其他网站给抓取去了，不信你们看看就知道了。还有人抓取别人网站上的邮箱、电话号码、QQ等等有用信
分类：
Web程序 时间：
2016-02-14 11:44:39
阅读次数：
289
最近在做一些抓取其它网站数据的工作，当然别人不会乖乖免费给你抓数据的，有各种防抓取的方法。不过道高一尺，魔高一丈，通过研究都是有漏洞可以钻的。下面的例子都是用PHP写的，不会用PHP来curl的孩纸先学习一下这块再往下看，可以参考这篇文章：http://blog.csdn.net/linglongw...
分类：
Web程序 时间：
2015-12-22 21:16:56
阅读次数：
242
