robots.txt基本介绍 robots 是一个纯文本文件，是用来告诉搜索引擎：当前这个网站上哪些部分可以被访问、哪些不可以，robots文件是存放在网站根目录下的一个纯文本文件。当搜索引擎访问一个网站时，它首先会检查该网站根目录下是否存在robots文件。robots文件必须放置在一个网站的根目
分类：
其他好文 时间：
2016-02-02 09:49:23
阅读次数：
204
一、关于robots文件 1. 搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有robots.txt文件,该文件用于指令搜索引擎禁止抓取网站某些内容或 允许抓取某些内容。注意:就算允许抓取所有内容,也要建一个空的robots.txt文件放在根目录下。 2. 只有在需要禁止抓取某些内容时,rob.....
分类：
其他好文 时间：
2015-09-30 17:41:19
阅读次数：
119
编辑一份 Robots 文件，另存为robots.txt，存在到服务器的根目录里 Java代码?? User-agent:?*??? Disallow:?/plus/ad_js.php?? Disallow:?/plus/advancedsearch.php?? Disallow:?/plus/car.php?? ...
分类：
其他好文 时间：
2015-09-12 01:09:38
阅读次数：
272
面试某软，被面试官问道：你做爬虫，知不知道很多网站下都有个robots文件？
答曰：不知。
于是面试官给我演示了一遍~
遂卒。首战惨败。
下来查了维基百科，基本了解robots。https://zh.wikipedia.org/wiki/Robots.txt
比如必应搜索www.bing.com的根目录下有这么一...
分类：
Web程序 时间：
2015-08-20 13:15:27
阅读次数：
155
一、关于robots文件 1. 搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有robots.txt文件,该文件用于指令搜索引擎禁止抓取网站某些内容或 允许抓取某些内容。注意:就算允许抓取所有内容,也要建一个空的robots.txt文件放在根目录下。 2. 只有在需要禁止抓取某些内容时,rob.....
分类：
其他好文 时间：
2015-08-08 19:48:20
阅读次数：
112
站内优化：关键词、标签、页面、内容建设
前几课复习：
1. 蜘蛛来先爬行robots文件
2. 一句话描述标题，描述糅合长尾词，靠前添加联系方式（增加反链）
3. ALT标签（针对图片）、nofollow（针对不重要的外链）
第十课正文：
促进内页收录的方法：
1. 图文并茂最佳。（alt标签在html编辑按钮里面添加）
2. 发外链，促进下。
3. ...
分类：
其他好文 时间：
2015-07-29 06:30:20
阅读次数：
119
robots.txt文件的概念、特点和写法
1. 概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/ 拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots...
分类：
Web程序 时间：
2015-07-28 23:19:47
阅读次数：
220
robots.txt文件的概念、特点和写法
1. 概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/ 拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots.t...
分类：
其他好文 时间：
2015-05-20 11:20:38
阅读次数：
117
昨夜，一位SEO友人问我一个这样的问题：百度蜘蛛每天都来爬取网站，却只收录首页，文章页及其他页面均未收录，问我是怎么回事？
其实这个问题非常普遍，可以从两个方面分析：
1. 网站内部优化是否完善；
2. 时间问题（文章够原创，站内优化够完善，迟早会收录）。
我们主要来谈谈第一个问题：网站内部优化。
其实SEO是什么？SEO不是单纯的迎合百度及其他搜索引擎，他是时刻随用户的体验度来考量网站...
分类：
Web程序 时间：
2015-05-07 12:38:13
阅读次数：
151
下面我们来研究这个网站：短美文（http://www.duanmeiwen.com/）它的robots.txt地址是：http://www.duanmeiwen.com/robots.txt文件如下：User-agent: * Disallow: /plus/ad_js.phpDisallow: /...
分类：
Web程序 时间：
2015-04-04 16:24:32
阅读次数：
142
