在说明ROTBOT文件的编写语法前先来了解几个重要的概念！ 1. 什么是baiduspider？ 1. 什么是baiduspider？ baiduspider是Baidu搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在Baidu搜索引擎中搜索到贵网站的网页。 ...
分类：
其他好文 时间：
2018-02-27 17:46:29
阅读次数：
197
码的妈都不认识! /robots.txt不存在 一些默认的目录也没有，没查是不是常见的cms。iis6.0的 没waf。顿时觉得简单多了。 用御剑扫了一下敏感目录。发现 http://www.xxxx.com/news/login.asp admin + url 组合进入后台 fck编辑器被阉割了而 ...
分类：
Web程序 时间：
2018-02-25 00:02:04
阅读次数：
257
参考： 1.《Programming Robots with ROS --A PRACTICAL INTRODUCTION TO THE ROBOT OPERATING SYSTEM》Morgan Quigley, Brian Gerkey& William D. Smart 书中第13章On Pa ...
分类：
系统相关 时间：
2018-02-24 17:54:08
阅读次数：
982
Urllib库 Urllib是python内置的HTTP请求库，包括以下模块：urllib.request （请求模块）、urllib.error（ 异常处理模块）、urllib.parse （url解析模块)、urllib.robotparser （robots.txt解析模块） 一、urllib ...
分类：
编程语言 时间：
2018-02-21 20:30:43
阅读次数：
181
1017: [JSOI2008]魔兽地图DotR Description DotR (Defense of the Robots) Allstars是一个风靡全球的魔兽地图，他的规则简单与同样流行的地图DotA (Defense of the Ancients) Allstars。DotR里面的英雄 ...
分类：
Web程序 时间：
2018-02-10 12:51:35
阅读次数：
259
利用urllib的robotparser模块，我们可以实现网站Robots协议的分析。本节中，我们来简单了解一下该模块的用法。 1. Robots协议 Robots协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引 ...
分类：
Web程序 时间：
2018-02-08 11:05:28
阅读次数：
192
Crashing Robots Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 11432 Accepted: 4831 Description In a modernized warehouse, robots are used ...
分类：
其他好文 时间：
2018-02-06 01:04:28
阅读次数：
221
1、配置环境 阿里云的版本是2.7.5，所以用pyenv新安装了一个3.6.4的环境，安装后使用pyenv global 3.6.4即可使用3.6.4的环境，我个人比较喜欢这样，切换自如，互不影响。 如下图： 接下来按照大才的文章，pip install gerapy即可，这一步没有遇到什么问题。有 ...
分类：
Web程序 时间：
2018-01-30 12:49:22
阅读次数：
266
目前很多网站管理者似乎对robots.txt并没有引起多大重视，甚至不知道这么一个文件的作用。本来应该保密的信息被爬虫抓取了，公布在公网上，本应该发布到公网的信息却迟迟不被搜索引擎收录。所以下面这篇文章，就来介绍robots.txt的作用和写作 robots.txt基本介绍 robots 是一个纯文 ...
分类：
其他好文 时间：
2018-01-27 13:37:31
阅读次数：
96
1. 创建scrapy项目步骤： scrapy startproject ArticleSpider scrapy genspider jobble blog.jobbole.com 2. 启动：scrapy crawl jobble 3. 设置默认过滤规则：settings.py文件中ROBOTS ...
分类：
其他好文 时间：
2018-01-26 00:30:08
阅读次数：
189
