一、网络爬虫的定义网络爬虫，即Web
Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
Web程序 时间：
2014-06-02 09:36:19
阅读次数：
216
网络爬虫，又被称为网页蜘蛛，网络机器人。本文我们就来说说网络爬虫初级。
分类：
其他好文 时间：
2014-06-02 06:24:29
阅读次数：
171
支持树型爬虫结构。例如：A爬虫 搜索"蓝牙开关"关键字||-B爬虫 获得A爬虫所有结果
通过结果
搜索生产厂家目前只提供2种不同爬虫1.只全文搜索关键字。2.筛选爬虫，筛选字频，屏蔽字。通过百度谷歌是否有对应结果筛选。不同种类的爬虫可用在爬虫树中进行组合，xml读入。================...
分类：
其他好文 时间：
2014-06-01 12:20:43
阅读次数：
172
.Net中也有很多很多开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是https://code.google.com/p/abot/对于爬取的Html，使用的分析工具是CsQuery,
CsQuery可以算是.net中实现的Jquery, ...
分类：
Web程序 时间：
2014-05-31 20:50:25
阅读次数：
388
（一）搜索引擎的开发一般可分为下面三大部分1、数据採集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene3、视图层：也用户的交互界面，如一个站点的首页...
分类：
其他好文 时间：
2014-05-31 20:04:37
阅读次数：
263
准备在端午节期间做一个网络爬虫。using System;using
System.Text;using System.Net;using System.IO;namespace ConsoleApplication1{
class Program { static voi...
分类：
其他好文 时间：
2014-05-31 14:24:36
阅读次数：
206
因为工作需要，用nodejs写了个简单的爬虫例子，之前也没用过nodejs，连搭环境加写大概用了5天左右，so。。。要多简陋有多简陋，放这里给以后的自己看~~
整体需求是：给一个有效的URL地址，返回该网页上所有无效链接的百分比（坏链率） 第一个文件：计算环链率 urlSpider.js ...
分类：
Web程序 时间：
2014-05-31 11:28:26
阅读次数：
564
今天来做一个PHP电影小爬虫。我们来利用simple_html_dom的采集数据实例，这是一个PHP的库，上手很容易。simple_html_dom
可以很好的帮助我们利用php解析html文档。通过这个php封装类可以很方便的解析html文档，对其中的html元素进行操作 (PHP5+以上版本)
分类：
Web程序 时间：
2014-05-30 09:27:39
阅读次数：
303
