码迷,mamicode.com
首页 > Web开发 > 详细

二毛解读:百度蜘蛛每天都来爬取网站,却只收录首页是怎么回事?

时间:2015-05-07 12:38:13      阅读:151      评论:0      收藏:0      [点我收藏+]

标签:百度蜘蛛   网站地图   robots文件   内链   h标签   

昨夜,一位SEO友人问我一个这样的问题:百度蜘蛛每天都来爬取网站,却只收录首页,文章页及其他页面均未收录,问我是怎么回事?

其实这个问题非常普遍,可以从两个方面分析:

1. 网站内部优化是否完善;

2. 时间问题(文章够原创,站内优化够完善,迟早会收录)。

我们主要来谈谈第一个问题:网站内部优化。

其实SEO是什么?SEO不是单纯的迎合百度及其他搜索引擎,他是时刻随用户的体验度来考量网站是否合适。在当今的互联网大环境下,暂时还是随着大多数用户的习惯性体验来对你的网站进行抓取,拍照,索引。网站优化分为两部分:站内+站外。站内就是网站结构调整+页面HTML调整,站外就是外链建设+丰富的社交圈。

网站只收录首页,可以说这没什么,因为如果一个网站连首页都不能收录,那实在是太失败了。为什么没有抓取内页,自己也要好好想想原因。

比如:首页是否用了大量的FLASH、JS做脚本装饰,是否给搜索引擎留了通往内页的入口,我们知道,蜘蛛很不愿意看到Frame,不是它不喜欢,而且它看不懂,它能做的只是一条条的爬取,你首页有链接可供它点击,它才有可能进入到你的内页,一层层的广度爬行。如果你使用了大量的框架,脚本,完全将带动器封闭在你的框架里,那么蜘蛛无法进入,它只能一次次的在你的首页徘徊。

技术分享

新站不建议使用这种网站结构,最好调整一下,首页尽量避免动态显示(不是指URL)。

再看下面:

技术分享

已经做了H标签加粗,却没有设置内链,指向文章内页,要知道,蜘蛛是非常看中H标签的,它非常想要了解,你里面到底写的什么,但是它进不去,你只是在最后的“阅读全文”给它留了入口,它没那么大的耐心,对它而言,H标签才重要的多,所以要学会利用自己的平台资源,切勿浪费。

下面是我给你的建议:

技术分享

将此页面作为博客首页,遵循蜘蛛的爬取习惯规则,可以这么说,这可以最大程度加深你的博客文章被抓取,但记得一些必要的内链要做好,平时要多看一些软文写作方面的教材,不要一味的贴近教材,在写之前,要思考一下,用户会不会搜索你写的文章标题,这篇文章写出来,对互联网的意义有多少,是不是用户所需求的,需求量大不大,这些都是长尾词要考虑的流量因素,还有,尽量图文并茂(包括发外链)。

再稍微规划一下,看下面这张图:

技术分享

一看就明白,在此处调用一个留言板块,站点基本成型。

最后,来看一下robots文件:

技术分享

robots里有些文件没有必要写上去。

两个重要的建议:

1. 在robots的最下面写上网站的地图地址,两个都要写。

参考样式:

Sitemap:  http://domain/sitemap.html

Sitemap:  http://domain/sitemap.xml

2. 新站,自己在发外链的事情,请带上自己网站的地图链接,不说原因,这很重要。

以上就是二毛自己对“百度蜘蛛每天都来爬取网站,却只收录首页是怎么回事?”的个人解读,希望大家从中能够学到对自己有用的一处或两处。

郑重声明:二毛SEO学习博客所有文章均为原创,转载或引用请表明出处,谢谢合作。

二毛解读:百度蜘蛛每天都来爬取网站,却只收录首页是怎么回事?

标签:百度蜘蛛   网站地图   robots文件   内链   h标签   

原文地址:http://blog.csdn.net/yzdzhouxiong/article/details/45556399

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!