码迷,mamicode.com
首页 > 其他好文 > 详细

Nginx禁止蜘蛛爬取服务器

时间:2020-02-12 18:38:56      阅读:84      评论:0      收藏:0      [点我收藏+]

标签:tpc   ini   parse   feed   pcl   ports   epo   control   too   

修改nginx.conf,禁止网络爬虫的ua,返回403

添加agent_deny.conf配置文件

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
  return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )
{
  return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
  return 403;
}

 

在网站相关配置文件中插入代码“include agent_deny.conf ;”。

location ~ [^/]\.php(/|$)
{
  try_files $uri =404;
  fastcgi_pass  unix:/tmp/php-cgi.sock;
  fastcgi_index index.php;
  include fastcgi.conf;
  include agent_deny.conf;
}

 

重新加载nginx

/etc/init.d/nginx reload

 

 

另外从apache中直接禁掉所有蜘蛛的抓取可以用以下配置

BrowserMatch "Spider" bad_bot

 

Nginx禁止蜘蛛爬取服务器

标签:tpc   ini   parse   feed   pcl   ports   epo   control   too   

原文地址:https://www.cnblogs.com/enumx/p/12299956.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!