第一种、robots.txt方法搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下:User-agent:*Disallow:通过代码，即可告诉搜索引擎不要抓取采取收录本网站。第二种、网页代码在网站首页代码与之间，加入代码，此标记禁止搜索引擎抓...
分类：
其他好文 时间：
2015-06-03 13:22:22
阅读次数：
126
Description
The “U.S. Robots” HQ has just received a rather alarming anonymous letter. It states that the agent from the competing «Robots Unlimited» has infiltrated into “U.S. Robotics”. «U.S. R...
分类：
编程语言 时间：
2015-05-31 01:24:51
阅读次数：
160
robots.txt文件的概念、特点和写法
1. 概念：robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页/文件夹可以收录，哪些不允许收录（可以爬行）。
提示：/admin/ 拒绝推荐
搜索引擎第一步看的就是网站的robots.txt
文件放在哪里：FTP服务器-网站根目录
穿插小疑问：网站收录特别差，为什么差？原因不明！
推荐解决方法：网站地图+robots.t...
分类：
其他好文 时间：
2015-05-20 11:20:38
阅读次数：
117
原文：https://robots.thoughtbot.com/keeping-a-github-fork-updatedI forked a GitHub repothoughtbot/dotfilestocroaky/dotfilesand want to keep it updated.Tr...
分类：
其他好文 时间：
2015-05-18 22:29:38
阅读次数：
121
一、简介 参考：https://robots.thoughtbot.com/rcm-for-rc-files-in-dotfiles-repos http://dotfiles.github.io/ 二、安装 1、rcm安装 参考：http://software.opensuse.org/downl...
分类：
系统相关 时间：
2015-05-18 01:04:43
阅读次数：
237
本文转自‘做个好男人’的博客。打开data/config.php，找到define(’ADMIN_PATH’,’admin’)，这里是定义后台目录的地方，把其中的admin换成你的后台自定义目录，如define(’ADMIN_PATH’,’adminks265‘);找到根目录下的robots.txt...
分类：
其他好文 时间：
2015-05-11 10:26:39
阅读次数：
136
症状： 更换了磁带机部件，导致Robots选项卡中的TLD(2) Robotic Path显示为PATH_MISSING。 解决方法： 概括起来就是: 删除TLD(2)，重新创建Robot记录，然后重新关联驱动器，导入磁带，更改存储单元。 1. 删除老的Robot,创建新的Robot (注意下面的R...
分类：
其他好文 时间：
2015-05-10 21:58:43
阅读次数：
119
网站收录特别差？robots文本文件里加入网站地图，站内优化最佳选择！
在讨论这个话题之前，我们先来了解一下robots的概念和制作：
robots文本概念：这个文件主要是给搜索引擎看的，搜索引擎在进入网站时，首先会访问FTP服务器里的robots.txt文本，你需要在文本里设置推荐给搜索引擎看的网页或者目录，以及拒绝搜索引擎收录的网页或者目录（拒绝这一项是我们经常做的...
分类：
Web程序 时间：
2015-05-09 17:37:17
阅读次数：
205
RewriteEngine OnRewriteCond %{REQUEST_FILENAME} !-fRewriteCond %{REQUEST_FILENAME} !-dRewriteCond $1 !^(index\.php|images|robots\.txt)RewriteRule ^(.*...
分类：
其他好文 时间：
2015-05-07 14:23:15
阅读次数：
89
昨夜，一位SEO友人问我一个这样的问题：百度蜘蛛每天都来爬取网站，却只收录首页，文章页及其他页面均未收录，问我是怎么回事？
其实这个问题非常普遍，可以从两个方面分析：
1. 网站内部优化是否完善；
2. 时间问题（文章够原创，站内优化够完善，迟早会收录）。
我们主要来谈谈第一个问题：网站内部优化。
其实SEO是什么？SEO不是单纯的迎合百度及其他搜索引擎，他是时刻随用户的体验度来考量网站...
分类：
Web程序 时间：
2015-05-07 12:38:13
阅读次数：
151
