1、爬虫技术概述 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从 ...
分类：
其他好文 时间：
2017-04-21 20:43:49
阅读次数：
296
HTTP（HyperTextTransferProtocol） 即超文本传输协议，眼下网页传输的的通用协议。HTTP协议採用了请求/响应模型，浏览器或其它client发出请求。server给与响应。就整个网络资源传输而 言，包含message-header和message-body两部分。首先传递m ...
分类：
Web程序 时间：
2017-04-17 17:29:47
阅读次数：
303
一、网站攻击与防御 攻击： 1、XSS攻击：危险字符转义，HttpOnly 2、注入攻击：参数绑定 3、CSRF（跨站点请求伪造）：Token，验证码，Referer Check 4、其他漏洞攻击 Error Code HTML 注释 文件上传 路径遍历 防御： 1、Web应用防火墙：ModSecu... ...
分类：
Web程序 时间：
2017-04-17 14:06:20
阅读次数：
181
c# HttpWebRequest与HttpWebResponse绝技 阅读原文 如果你想做一些，抓取，或者是自动获取的功能，那么就跟我一起来学习一下Http请求吧。本文章会对Http请求时的Get和Post方式进行详细的说明，在请求时的参数怎么发送，怎么带Cookie，怎么设置证书，怎么解决 编码 ...
Python设置Headers 这样，我们设置了一个headers，在构建request时传入，在请求时，就加入了headers传送，服务器若识别了是浏览器发来的请求，就会得到响应。 另外，我们还有对付”反盗链”的方式，对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是， ...
分类：
编程语言 时间：
2017-04-14 11:44:56
阅读次数：
526
为什么选择Nginx，nginx有诸多优点： nginx是轻量级web服务器，支持AIO、mmap、event-driven，解决了c10k问题、虚拟主机、基于名字和IP访问、nginx平滑升级 、热部署、自定义日志格式、3XX 5XX错误代码重定向、重写url、支持http referer 使用防 ...
分类：
Web程序 时间：
2017-04-09 18:29:41
阅读次数：
288
https://my.oschina.net/u/593517/blog/304483 摘要: CentOS-6.5安装配置Tomcat-7 安装说明 安装环境：CentOS-6.3安装方式：源码安装 软件：apache-tomcat-7.0.29.tar.gz下载地址：http://tomcat. ...
分类：
其他好文 时间：
2017-04-06 00:46:17
阅读次数：
200
curl发出请求的文件fake_ip.php: 代码 代码如下: <?php $ch = curl_init(); $url = "http://localhost/target_ip.php"; $header = array( 'CLIENT-IP:58.68.44.61', 'X-FORWAR ...
分类：
Web程序 时间：
2017-04-05 23:57:34
阅读次数：
333
一、概念 协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则，超文本传输协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。 HTTP协议，即超文本传输协议(Hypertext transfer protocol)。是一种详 ...
分类：
Web程序 时间：
2017-03-30 14:56:06
阅读次数：
661
'; //error_reporting(E_ERROR); $isopen = 1; if(isset($_GET['op_sec_rule_open'])) $isopen =intval($_GET['op_sec_rule_open']); //当参数值在20~2048 之间时，进行检查 f... ...
分类：
Web程序 时间：
2017-03-22 15:12:35
阅读次数：
371
