参考书籍：《自己动手写网络爬虫》 网络爬虫的基本操作是抓取网页。 “打开”网页的过程其实就是浏览器作为一个浏览的“客户端”，向服务器端发送了一次请穷求，把服务器端的文件“抓”到本地，再进行解释，展现。更进一步，可以通过浏览器端查看“抓取”过来的文件源代码， url(Universal Resourc ...
分类：
其他好文 时间：
2016-11-24 19:16:32
阅读次数：
177
前几天无聊，忽然想写点有趣的代码，关于网络方面的，刚开始就想写一个能从oj上自动拉个比赛的软件，后来查资料时看到了神奇的AC自动机，于是自己也去实现了遍。 一天狂A 500多道。。。就当自娱自乐了。在这里提醒大家，AC需谨慎，我跑程序的时候已经将程序放慢了许多，也实时监控hdu（oj大部分题是从hd ...
分类：
其他好文 时间：
2016-11-22 09:33:25
阅读次数：
156
Burp Suite 是用于攻击web 应用程序的集成平台。它包含了许多工具，并为这些工具设计了许多接口，以促进加快攻击应用程序的过程。所有的工具都共享一个能处理并显示HTTP 消息，持久性，认证，代理，日志，警报的一个强大的可扩展的框架。本文介绍它的主要特点下： 1.Target(目标)——显示目 ...
分类：
Web程序 时间：
2016-11-18 18:13:00
阅读次数：
277
上一篇《用C#实现网络爬虫（一）》我们实现了网络通信的部分，接下来继续讨论爬虫的实现 3. 保存页面文件 这一部分可简单可复杂，如果只要简单地把HTML代码全部保存下来的话，直接存文件就行了。 第23行这里又出现了一个事件，是保存文件之后触发的，客户程序可以之前进行注册。 4. 提取页面链接 提取链 ...
网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。 接下来就介绍一下爬虫的简单实现。 爬虫的工作流程如下 爬虫自指定的URL地址开始下载网络资源，直到该地址和所有子地址的指定资源都下载完毕为止。 下面开始逐步分析爬虫的实现。 1. 待下载集合与已下载集合 为了保存需要下载的URL，同 ...
Python爬虫初次开发： 这周四讲了正则表达式，晚上就开始摸索着写一个网络爬虫。这个爬虫的功能就是从指定的网页开始，爬取这个网页里所有的链接，然后进入这些链接继续爬取新的链接，不断继续这个过程，并保存下所有爬取到的链接。这个爬虫目前还没有什么实际用处，后续可以在此基础上开发搜索指定信息等功能。 这 ...
分类：
编程语言 时间：
2016-11-12 23:21:33
阅读次数：
203
短小精悍的xNet 这个一个俄国牛人写的开源工具，为啥说他强悍了，因为他将所有Http协议的底层都实现了一遍，这有啥好处？只要你是写爬虫的，都会遇到一个让人抓狂的问题，就是明明知道自己Http请求头跟浏览器一模一样了，为啥还会获取不到自己想要的数据。这时你如果使用HttpWebReaquest，你只 ...
分类：
其他好文 时间：
2016-11-12 13:40:39
阅读次数：
225
Python之路【第十九篇】：爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 Requests Python标准库中提供了：urllib ...
分类：
编程语言 时间：
2016-11-06 22:54:54
阅读次数：
434
一：简述超文本传输协议（HTTP，HyperTextTransferProtocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。HTTP是一个客户端和服务器端请求和应答的标准（TCP）。客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其它的工具，客..
分类：
其他好文 时间：
2016-11-05 23:58:49
阅读次数：
577
1、Web Spider简介Web Spider，又称为网络爬虫，是一种自动抓取互联网网页信息的机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采...
分类：
Web程序 时间：
2016-11-03 19:08:09
阅读次数：
203
