003 Python网络爬虫与信息提取 网络爬虫的'盗亦有道'

标签：文件   抓取   问题：   玩转   无法   问题   request   根目录   http   

[A] 网络爬虫引发的问题

　　　　1. 当前网络爬虫根据规模可分为三种：

　　　　　　1. 小型规模，主要用于爬取网页，玩转网页，数据量小，并且对于爬取速度不敏感，这种爬虫可以直接通过Python提供的第三方库Requests即可实现

　　　　　　2. 中等规模，主要用于爬取网站，系列网站，数据量大，并且对于爬取速度有敏感性，如爬取网站上航班信息，对于这种爬虫，Python提供的Scrapy库即可满足

　　　　　　3. 大型规模，主要实现全网爬取，数据量特别大，比如百度搜索引擎，谷歌搜索引擎，这种规模的爬虫只能定制开发，第三方库无法满足

　　　　2. 网络爬虫引发的问题：

　　　　　　1. 骚扰问题

　　　　　　　　　　这是指网络爬虫访问服务器时，相比于人类更加高速和频繁，会增加服务器的负荷

　　　　　　2. 法律问题

　　　　　　　　　　这是指服务器上存储的数据是由产权归属的，用于牟利的网络爬虫存在法律风险

　　　　　　3. 隐私泄露问题

　　　　　　　　　　这是指网络爬虫具备突破简单访问限制的能力，获得被保护数据从而获得个人隐私内容

　　　　3. 目前存在对网络爬虫限制方法

　　　　　　1. 来源审查　　通过判断 User-Agent 进行限制

　　　　　　　　　即检查来访HTTP协议头的 User-Agent 域，只响应浏览器或者友好爬虫的访问

　　　　　　2. 发布公告　　Robots协议

　　　　　　　　　即告诉所有爬虫网站的爬虫策略，要求所有爬虫遵守。

[B] Robots协议

　　　　Robots协议全称是 Robots Exclusion Standard 网络爬虫排除标准

　　作用：网站告知网络爬虫哪些网页可以抓取，哪些不行

　　形式：在网站根目录下的 robots.txt 文件

003 Python网络爬虫与信息提取 网络爬虫的'盗亦有道'

标签：文件   抓取   问题：   玩转   无法   问题   request   根目录   http   

原文地址：https://www.cnblogs.com/carreyBlog/p/13983843.html