译者按: 关于代码风格，不同的人有不同的偏好，其实并没有什么绝对的对错。但是，有2条原则应该是对的： 少数服从多数；用工具统一风格。 原文: Why robots should format our code for us 译者: Fundebug 为了保证可读性，本文采用意译而非直译。另外，本文版 ...
分类：
其他好文 时间：
2018-01-25 21:46:38
阅读次数：
321
<meta name="robots" content="noarchive"> 以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写 <meta name="Baiduspider" content="noarchive"> 需要注 ...
分类：
Web程序 时间：
2018-01-21 17:32:48
阅读次数：
996
用Netscaler解决网络爬虫问题近来有人问使用ADC来解决网络爬虫问题，首先要明确的一点：“在爬虫与反爬虫的对弈中，爬虫一定会胜利。”换言之，只要人类能够正常访问的网页，爬虫在具备同等资源的情况下就一定可以抓取到。robots.txt只是约定，爬虫遵守或者不遵守完全在于爬虫作者的意愿。举个例子，公交车上贴着「请为老弱病残孕让座」，但是大部分人并不见得会遵守。一般来讲，只有大的搜索引擎爬虫会遵守
分类：
Web程序 时间：
2018-01-16 10:23:19
阅读次数：
287
题目链接 HDU 6229 题意 在一个$N * N$的格子矩阵里，有一个机器人。 格子按照行和列标号，左上角的坐标为$(0, 0)$，右下角的坐标为$(N - 1, N - 1)$ 有一个机器人，初始位置为$(0, 0)$。 现在这个矩阵里面，有一些障碍物，也就是说机器人不能通过这些障碍物。 若机 ...
分类：
其他好文 时间：
2018-01-07 00:42:08
阅读次数：
141
MoNoSLAM：https://github.com/hanmekim/SceneLib2 以扩展卡尔曼滤波为后端，追踪前端非常稀疏的特征点，以相机的当前状态和所有路标点为状态量，更新其均值和协方差。 优点：在2007年，随着计算机性能的提升，以及该系统用稀疏的方式处理图像，使得该方案使得SLAM ...
分类：
其他好文 时间：
2018-01-05 12:31:45
阅读次数：
155
Robot.txt Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。查看百度的robots协议www.baidu.com/robots.txt ...
分类：
编程语言 时间：
2017-12-29 18:59:28
阅读次数：
209
一、前言 我们都知道现在聊天对话机器是一个很有意思的东西，比如说苹果siri，比如说微软的小冰。 聊天对话机器的应用场景也很广泛，比如说：银行的自助办卡机器人、展会讲解解说等等。 我们对机器人说句话，机器人从听取，到语义识别，认知转换，到最后调出我们所想要的东西，这个过程看似简单，其实内藏许多黑科技 ...
分类：
其他好文 时间：
2017-12-28 19:56:16
阅读次数：
502
scrapy爬虫出现Forbidden by robots.txt scrapy爬虫出现Forbidden by robots.txt ...
分类：
其他好文 时间：
2017-12-14 22:58:30
阅读次数：
226
什么是robots.txt？ robots.txt是一个纯文本文件，是爬虫抓取网站的时候要查看的第一个文件，一般位于网站的根目录下。robots.txt文件定义了爬虫在爬取该网站时存在的限制，哪些部分爬虫可以爬取，哪些不可以爬取（防君子不防小人） 更多robots.txt协议信息参考：www.rob ...
分类：
Web程序 时间：
2017-12-11 23:05:13
阅读次数：
226
查看方法：京东 https://www.jd.com/robots.txt ...
分类：
其他好文 时间：
2017-12-10 20:15:26
阅读次数：
111
