URL、URI、URNURL:protocol :// hostname[:port] / path / [;parameters][?query]#fragment
分类：
编程语言 时间：
2014-10-01 00:28:10
阅读次数：
182
基础知识搜索引擎搜索引擎爬虫会检索各个网站，分析他们的关键字，从一个连接到另一个连接，如果爬虫觉得这个关键字是有用的 就会存入搜索引擎数据库，反之如果没用的、恶意的、或者已经在数据库的，就会舍弃。搜索引擎数据库 保证是爬虫爬过的最新的数据。用户在使用搜索引擎会在搜索引擎数据库查找关键词，展现给用的的...
分类：
其他好文 时间：
2014-10-01 00:16:40
阅读次数：
187
网络爬虫程序的优劣，很大程度上反映了一个搜索引擎的好差。不信，你可以随便拿一个网站去查询一下各家搜索对它的网页收录情况，爬虫强大程度跟搜索引擎好坏基本成正比。 1.世界上最简单的爬虫——三行情诗 我们先...
分类：
Web程序 时间：
2014-09-30 19:37:00
阅读次数：
306
一个网站只有爬虫抓取了，才能被收录、有快照、有排名。所以搜索引擎爬虫对网站的抓取情况直接决定了一个网站seo的成败。今天笔者就从网站内部本身来分析一下那些因素将影响到搜索引擎爬虫的爬取： 1、网站速度影响爬虫访问 机房—DNS服务器—CDN—出口带宽--硬件—操作系统—服务器软件—程序 机房的...
分类：
Web程序 时间：
2014-09-30 17:03:59
阅读次数：
210
文章转自：http://blog.csdn.net/hguisu/article/details/7949844通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫能够高效地将海量的网页数据传下载到本地，在本地 形成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件...
分类：
其他好文 时间：
2014-09-30 14:57:29
阅读次数：
302
关于win 64位机器安装Scrapy的问题：http://steamforge.net/wiki/index.php/How_to_Install_Scrapy_in_64-bit_Windows_7 在安装Scrapy是要安装一系列的依赖模块， 出现问题： 1、error: Unable to find vcvarsall...
分类：
编程语言 时间：
2014-09-30 13:46:39
阅读次数：
341
网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互 联网中搜集网页，采集信息，这些网页信息用于建立索引从而为搜索 引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即 时，因此其性能的优劣直接影响着搜索引擎的效果。网络爬...
分类：
Web程序 时间：
2014-09-29 13:30:00
阅读次数：
281
申明：转载请注明作者（byChenReason）及出处，谢谢。最近在学python，首先就想找个小功能来试着实现以下当作练手，最后决定就以爬取京东商品的缺货记录作为目标。要爬京东数据，当然要从分析京东的商品页面开始。我们先以京东的手机频道为例。不然发现，有个【仅显示有货】按..
分类：
其他好文 时间：
2014-09-29 03:45:47
阅读次数：
225
一.HTML语义化的概念 1、主要的标签，有标题（H1~H6）、列表（li）、强调（strong em）等 2、根据内容的结构化（内容语义化），选择合适的标签（代码语义化）便于开发者阅读，以及在写出更优雅的代码的同时让浏览器的爬虫和机器很好地解析。二 .语义化的必要 1.为了在...
分类：
Web程序 时间：
2014-09-28 22:33:26
阅读次数：
277
本文利用WebCollector内核的解析，来描述如何设计一个网络爬虫。
WebCollector使用了Nutch的爬取逻辑（分层广度遍历），Crawler4j的的用户接口（覆盖visit方法，定义用户操作）,以及一套自己的插件机制，设计了一套爬虫内核。...
分类：
Web程序 时间：
2014-09-27 13:36:09
阅读次数：
687
