.net提供了三种基本方法和两种底层方法来发送http请求和接收http响应，通过这些方法，我们可以模仿在浏览器地址栏输入URL地址访问网页的方法。我们发送http请求，接收服务器返回的响应（通常就是HTML网页）。由此对得到的网页进行分析，比如做自动化测试、或者抓取该网页上你感兴趣的东西，再放.....
分类：
Web程序 时间：
2014-09-12 14:45:33
阅读次数：
193
基本环境：linux centos6.5 nutch2.2.1源码包，mysql 5.5 ，elasticsearch1.1.1, jdk1.71、下载地址http://mirror.bjtu.edu.cn/apache/nutch/2.2.1/解压2、修改数据存储方式是mysql 修改nutch....
分类：
数据库 时间：
2014-09-12 13:25:43
阅读次数：
406
这个是python2.7x 的版本，如果mouxie...
分类：
编程语言 时间：
2014-09-12 12:05:06
阅读次数：
207
--抓取西部POS数据DELETE FROM POSLSBFINSERT INTO POSLSBFselect * from [192.168.1.100].[SCMIS].DBO.possrlbf WHERE SLDAT>'20130101'ORDER BY 1INSERT INTO POSXBB...
分类：
其他好文 时间：
2014-09-11 20:56:12
阅读次数：
252
看流量统计分析时，发现入口网址有其他域名。就点了一下，然后就震惊了，发现跟自己服务器内容一样。被攻击了？挂马了？抓取了？然后就各种百度谷歌，发现也有遇到同样问题的童鞋：总结出两点，要么是域名配置的问题，要么是服务器（tomcat）配置问题。最后看了下面大神的帖子解决了问题。原文地址：http://w...
分类：
其他好文 时间：
2014-09-11 16:41:22
阅读次数：
234
示例说明：抓取MediaStream的一帧数据，并对该帧数据使用Css滤镜效果。步骤：1. 由getUserMedia方法获取一个可用的MediaStream2. canvas方法drawImage抓取MediaStream的一帧数据3. 根据用户点击操作，对canvas元素使用滤镜效果的css样式...
分类：
Web程序 时间：
2014-09-11 16:40:52
阅读次数：
252
在实际生活中，网络请求的应用极其常见，比如使用浏览器，程序中我们还要调用webservice。那么浏览器是怎么请求网络资源的呢？不用它可以自己请求不？答案是可以的。如果我们可以用自己的程序主动发起网络请求，那么我们可以：模拟提交数据，做一些简单网页游戏的外挂，可以刷一些帖子的访问量，可以抓取网络上的...
分类：
Web程序 时间：
2014-09-11 15:13:22
阅读次数：
321
考虑一个问题：如何抓取一个访问受限的网页？如校内好友的主页，个人新鲜事页面等。显然，通过浏览器，我们可以手动输入用户名密码来访问目标页面，所谓“抓取”，只不过需要使用程序来模拟完成同样的工作，因此需要了解“登陆”过程中到底发生了什么。对未登录用户，服务器强制用户跳转到登陆页面，用户键入用户名密码并提...
分类：
其他好文 时间：
2014-09-11 15:09:42
阅读次数：
194
前言 昨天在电脑上抓取的报文，想进行回话，但是发现全部被设备丢弃了，没有debug信息，查看了抓包文件，原来是IP头和TCP、UDP头的检验和全部为0，也就是TOE(TCP/IP Offload Engine)导致的。 TOE(TCP/IP Offload Engine) 传统的TCP/IP处理网络...
分类：
其他好文 时间：
2014-09-11 10:54:41
阅读次数：
546
通过以下步骤，将经过本机的（设置本机为网关）icmp流量抓取，并获取其目标地址，可以用来做icmp代理。1. iptables 在 mangle 表的 prerouting链中添加规则，给icmp包做标记，比如0x15 iptables -t mangle -A PREROUTING -p icm....
分类：
其他好文 时间：
2014-09-10 21:04:11
阅读次数：
532
