18.2 什么是机器人排除标准 《搜索引擎优化宝典(第2版)》第18章机器人、蜘蛛和爬虫，本章主要的内容有：什么是机器人、爬虫和蜘蛛；什么是机器人排除标准; Robots 元标签；用XML 网站地图使网页被收录。本节为大家介绍什么是机器人排除标准虫。 作者：马煜 译来源：清华大学出版社|2010-0 ...
分类：
其他好文 时间：
2017-12-09 23:57:03
阅读次数：
168
1017: [JSOI2008]魔兽地图DotR Description DotR (Defense of the Robots) Allstars是一个风靡全球的魔兽地图，他的规则简单与同样流行的地图DotA (Defense of the Ancients) Allstars。DotR里面的英雄 ...
分类：
其他好文 时间：
2017-11-25 13:16:03
阅读次数：
263
urllib是python自带的请求库，各种功能相比较之下也是比较完备的，urllib库包含了一下四个模块： urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparse robots.txt解析模块 下 ...
分类：
编程语言 时间：
2017-11-22 14:15:41
阅读次数：
135
Crashing Robots Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 11233 Accepted: 4753 Description In a modernized warehouse, robots are used ...
分类：
其他好文 时间：
2017-11-21 19:47:12
阅读次数：
142
题意：一个机器人在正方形迷宫的左上角，迷宫里有些格子有障碍物，每一步机器人会等概率地向能走的格子转移（包含自身）。问你无限长的时间之后，机器人处于矩形对角线的右下方的概率。 无限长时间意味着，起点没有了意义。只需统计右下方每个格子的贡献之和比上所有格子的贡献之和。 假设迷宫不是离散的，而是连续的，那 ...
分类：
其他好文 时间：
2017-11-16 20:46:49
阅读次数：
102
平时写爬虫的时候并不需要设置setting里所有的参数，今天心血来潮，花了点时间查了一下setting模块创建后自动写入的所有参数的含义，记录一下。 模块相关说明信息 项目名字和爬虫模块说明，引擎根据这个信息找到爬虫 浏览器的USER_AGENT，可以自定义伪装。 是否遵守robots协议，默认是遵 ...
分类：
其他好文 时间：
2017-11-15 21:55:20
阅读次数：
1647
1.什么是Urllib 它是Python内置的Http请求库 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 2.urlopen 帮助我们发送request请 ...
分类：
Web程序 时间：
2017-11-07 00:17:24
阅读次数：
219
hihocoder-Week175-Robots Crossing River Robots Crossing River Robots Crossing River 时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述 Three kinds of robots want ...
分类：
其他好文 时间：
2017-11-06 20:04:30
阅读次数：
201
大多数网站都会定义robots.txt文件，以让爬虫了解爬取该网站时存在的限制。在地址后面加/robots.txt查看 识别网站所用的技术：使用builtwith 因为这个包是用于python2的，python3在使用时要做一些修改。然后我们用一个charset包来检测网站的编码，修改后的完整内容如 ...
分类：
编程语言 时间：
2017-11-03 16:14:04
阅读次数：
250
简单工具：明小子，阿d注入工具，namp，穿山甲，御剑，旁注 漏洞扫描工具：appscan 、awvs www.cmd5.com md5解码网站 web安全攻防视频目录： 2.思路、3.简单的工具使用、5.谷歌黑客语法、6.robots.txt、7.渗透必会端口、8.必会dos命令、9.http协议 ...
分类：
Web程序 时间：
2017-11-02 22:06:25
阅读次数：
393
