robots.txt的主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取，哪些内容不能抓取。虽然可以没有robots.txt这个文件，默认就抓取该网站的所有文件，对搜索引擎爬虫没有任何的影响，但是如果你想控制蜘蛛的检索间隔，你就必须用robots.txt来控制。robots.txt不是一种规范，是约定俗成...
分类：
其他好文 时间：
2014-05-26 13:04:58
阅读次数：
228
以下是粘贴来的，觉得写得不错~~借用一下~~引子：什么是W3C标准
作为网站技术开发人员而言，往往是站在自己的开发角度来实施网站布署(读取数据及开发的方便性等等)，而不是站在网站访问者与搜索引擎角度。因此大部分的网站在浏览方面不够直观或是方便，特别是现在w3c的规范，更是在大部分的网站开发人员脑里....
分类：
Web程序 时间：
2014-05-26 11:48:34
阅读次数：
293
Insert title here定向数据爬虫和搜索引擎(Directional
Spider)设计(一) ——
元素分析前言页面定向数据抓取目的就是尽可能的抓取在互联网中获取到你感兴趣的数据。因为是定向抓取，同时需要保证对抓取的数据进行数据加工处理，做到对应的数据规范，方便后期检索。
简单的说这个...
分类：
其他好文 时间：
2014-05-26 07:28:45
阅读次数：
225
simhash与重复信息识别在工作学习中，我往往感叹数学奇迹般的解决一些貌似不可能完成的任务，并且十分希望将这种喜悦分享给大家，就好比说：“老婆，出来看上帝”……
随着信息爆炸时代的来临，互联网上充斥着着大量的近重复信息，有效地识别它们是一个很有意义的课题。例如，对于搜索引擎的爬虫系统来说，收录重复...
分类：
其他好文 时间：
2014-05-26 06:38:50
阅读次数：
258
详细可参考
（1）书箱：《这就是搜索引擎》《自己动手写网络爬虫》《解密搜索引擎打桩实践》
（2）【搜索引擎基础知识1】搜索引擎的技术架构
（3）【搜索引擎基础知识2】网络爬虫的介绍
1、...
分类：
其他好文 时间：
2014-05-26 05:45:24
阅读次数：
266
通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。
1. 网络爬虫本质就是浏览器http请求。
浏览器和网络爬虫是两种不同的网络客户端，都以相同的方式来获取网页：
1）首先， 客户端程序连接到域名系统...
分类：
其他好文 时间：
2014-05-26 05:26:52
阅读次数：
358
部分内容转自：http://blog.csdn.net/hguisu/article/details/8024799
一、 开源项目
1.Lucene全文检索系统
http://lucene.apache.org和 http://www.lucene.com.cn/
Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代...
分类：
Web程序 时间：
2014-05-26 04:36:55
阅读次数：
297
第一次接触SEO，请阅读本基础指南入门，也可以注册论坛：从一句话入门SEO开始 已经意识到SEO的重要性，渴望系统掌握并与行业精英们深入交流你可以：加入SEOWHY成为VIP会员
什么是SEO，SEO是什么意思？
SEO的中文意思是搜索引擎优化。通俗理解是：通过总结搜索引擎的排名规律，对网站进行合理优化，使你...
分类：
其他好文 时间：
2014-05-24 22:22:21
阅读次数：
406
（一）搜索引擎的开发一般可分为以下三大部分
1、数据采集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi
2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene
3、视图层：也用户的交互界面，如一个网站的首页
其基本架构可参考下图：...
分类：
其他好文 时间：
2014-05-24 22:20:16
阅读次数：
349
在google诞生以前，传统搜索引擎主要依靠页面内容中的关键词匹配搜索词进行排名。这种排名方式的短处现在看来显而易见，那就是很容易被刻意操纵。黑帽SEO在页面上推挤关键词，或加入与主题无关的热门关键词，都能提高排名，使搜索引擎排名结果质量大为下降。现在的搜索引擎都使用链接分析技术减少垃圾，提高用户体验。下面泡馆史明星就来简单的介绍链接在搜索引擎排名中的应用原理。
在排名中计入链接因素，不仅有...
分类：
其他好文 时间：
2014-05-23 00:19:53
阅读次数：
333
