世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总,如下表所示。虽然搜索引擎也有爬虫,但本次我汇总的只是爬虫软件,而非大型、复杂的搜索引擎,因为很多兄...
分类:
其他好文 时间:
2014-10-23 12:53:57
阅读次数:
174
一,利用网络爬虫来下载韩寒博客文章,主要需要用到以下知识要点:1,简要了解HTML标记语言,熟悉HTTP协议,发现HTML规律2,熟悉urllib模块3,熟悉python在此我利用的是ie8的开发者工具,当然也可以使用比较出名的firebug,这是火狐的一个插件,十分好用。中心思想:获取URL链..
分类:
编程语言 时间:
2014-10-23 06:57:58
阅读次数:
333
序言:在不知道jsoup框架前,由于项目需求,需要定时抓取其他网站上的内容,便想到用HttpClient方式获取指定网站的内容,这种方法比较笨,就是通过url请求指定网站,根据指定网站返回文本解析。说白了HttpClient充当一下浏览器的角色,返回的文本需要自己处理,一般都是用string.indexOf或者string.subString方法处理。
当有一天发现jsoup这个...
分类:
Web程序 时间:
2014-10-23 00:11:44
阅读次数:
181
在网页爬虫的实现过程中还涉及了一些基本的功能函数,例如获取系统的当前时间函数,进程休眠和字符串替换函数等。
我们将这些多次调用的与过程无关的函数写成一个类Utilities。
Code:
/////Utilities.h
//*************************
//与操作系统相关的函数
//*************************
#ifndef Uti...
分类:
Web程序 时间:
2014-10-22 16:01:00
阅读次数:
248
推荐一本书:黑客攻防技术宝典.Web实战篇 ;
顺便留下一个疑问:是否能通过jsoup大量并发访问web或者小型域名服务器,使其瘫痪?其实用jsoup熟悉的朋友可以用它解析url来干一件很无耻的事(源码保密)。呵呵,接下来简单的介绍下JSOUP。
jsoup 是一款基于Java 的HTML解析器,可直接解析某个URL地址、HTML文本字符串、HTML文件。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
官网下载地址:h...
分类:
Web程序 时间:
2014-10-22 11:06:52
阅读次数:
277
最近在做一些网页信息采集的工作,说通俗点就是爬虫工具,要监控页面中某一部分内容是否发生变化。起初考虑用正则表达式去匹配网页源码,经过咨询有经验人士,推荐使用xpath去获取页面内容能获得更好的效率。但是对于html这种宽松语法要求的语言来说,不可能100%地完全符合xml标准,那么就没法使用xpat...
分类:
Web程序 时间:
2014-10-22 10:46:33
阅读次数:
175
blog导航 在左下侧:随笔分类 简要做个导航图放到这儿方便大家查阅 直奔爬虫: 点击-> 直奔oracle:点击->
分类:
其他好文 时间:
2014-10-21 19:10:26
阅读次数:
143
在windows下的C++通过Http协议实现对网页的内容抓取:
首先介绍下两个重要的包(一般是在linux下的开源数据包,在windows下则调用其动态链接库dll):curl包和pthreads_dll,其中curl包解释为命令行浏览器,通过调用内置的curl_easy_setopt等函数即可实现特定的网页内容获取(正确的编译导入的curl链接库,还需要另外一个包C-ares)。pt...
分类:
Web程序 时间:
2014-10-21 15:34:13
阅读次数:
273
8.1-8.31推荐文章汇总
【移动开发】
Cocos2d-x Lua 读取Csv文件,更方便的使用数据 笨木头
Android应用如何支持屏幕多尺寸多分辨率问题 xyz_lmn
CSDN Android客户端开发(二):详解如何基于Java用Jsoup爬虫HTML数据 yanzi1225627
Android开发之WebVi...
分类:
其他好文 时间:
2014-10-21 12:22:20
阅读次数:
365