首先要了解对方网页的执行机制，这能够用httpwacth或者httplook来看一下http发送和接收的数据。这两个工具应该说是比較简单易懂的。这里就不再介绍了。主要关注的内容是header和post的内容。通常会包括cookie，Referer页面和其它一些乱其八糟可能看不懂的变量，还有就是正常交...
分类：
Web程序 时间：
2015-03-15 19:35:31
阅读次数：
113
http://www.75team.com/archives/543
发表于 2013 年 10 月 9 日 by bower
想要自动从网页抓一些数据或者想把一坨从什么博客上拉来的数据转成一种有结构的数据？
居然没有现成的API可以取数据？！！！ !@#$@#$…
没关系 网页抓取可以解决。
什么是网页抓取？ 你可能会问。。。
网页抓取是以编程的方式(通常不用浏览...
分类：
Web程序 时间：
2015-02-07 09:08:42
阅读次数：
217
文章来源：Html Agility Pack解析HTML页 现在，在不少应用场合中都希望做到数据抓取，特别是基于网页部分的抓取。其实网页抓取的过程实际上是通过编程的方法，去抓取不同网站网页后，再进行分析筛选的过程。比如，有的比较购物网站，会同时去抓取不同购物网站的数据并将其保存在数据库中。一般，这些...
分类：
Web程序 时间：
2015-01-23 18:01:53
阅读次数：
247
protected void GetHtml() { string url = "http://www.baidu.com/"; HttpWebRequest wRequest = (HttpWebRequest)WebRequest.Create(url); //设置请求...
分类：
Web程序 时间：
2015-01-22 10:44:50
阅读次数：
234
基于Lucene 3.0.11、Lucene简单定义Lucene是高性能、可扩展的信息检索（IR）工具库。向用户提供了简单易用的索引和搜索API，屏蔽了内部复杂而先进的信息检索技术实现过程Lucene仅仅是一个提供搜索功能的类库，你还需要根据实际情况自行完成搜索程序的其他模块（网页抓取、文档处理、服...
分类：
Web程序 时间：
2015-01-13 19:27:01
阅读次数：
126
昨天还是2014，今天就变成了2015。时间总是那么快，这篇文章就作为2015年的一个开始吧。
这篇文章主要介绍一些网页抓取及抓取下来的内容处理。
所需要的jar包点击打开链接，我放在百度云盘里。有需要的可以下载，其他的请自行下载。
百度百科对网页抓取的定义，当然本文并没有介绍的那么多，只是介绍对单个页面的抓取，和模拟提交表单抓取页面，如需深究，请自行baidu
or google。...
分类：
Web程序 时间：
2015-01-01 11:16:55
阅读次数：
234
首先要了解对方网页的执行机制，这能够用httpwacth或者httplook来看一下http发送和接收的数据。这两个工具应该说是比較简单易懂的。这里就不再介绍了。主要关注的内容是header和post的内容。通常会包括cookie，Referer页面和其它一些乱其八糟可能看不懂的变量，还有就是正常交...
分类：
Web程序 时间：
2014-12-31 22:39:56
阅读次数：
222
用Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：import urllib2url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"u...
分类：
编程语言 时间：
2014-12-25 01:26:02
阅读次数：
175
背景介绍一 tcp简介 1 tcp 实现网络中点对点的传输 2 传输是通过ports和sockets ports提供了不同类型的传输（例如 http的port是80） 1）sockets可以绑定在特定端口上，并且提供传输功能 2）一个port可以连接多个socket二 URL简...
分类：
编程语言 时间：
2014-12-18 09:07:58
阅读次数：
281
奇怪的需求 公司需要将服务器的网页缓存到路由器，用户在访问该网页时就直接取路由器上的缓存即可。虽然我不知道这个需求有什么意义，但还是尽力去实现吧。 wget概述 wget是unix和类unix下的一个网页抓取工具，待...
分类：
Web程序 时间：
2014-12-17 13:09:44
阅读次数：
416
