cURL可以使用URL的语法模拟浏览器来传输数据， 因为它是模拟浏览器，因此它同样支持多种协议，FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等协议都可以很好的支持，包括一些：HTTPS认证，HTTP POST方法，HTTP PU ...
分类：
Web程序 时间：
2016-09-27 15:06:21
阅读次数：
202
Snoopy是一个使用PHP写的采集类，使用了一下发现功能比较强大，几乎可以模拟浏览器的所有行为，可以实现的功能有： 比起使用curl，fsockopen等函数来说方便很多，下面总结一下这个类一些属性与方法的作用。 方法: fetch($url) 该方法用于抓取网页内容，类似于file_get_co ...
分类：
其他好文 时间：
2016-08-31 09:25:54
阅读次数：
262
Snoopy是一个使用PHP写的采集类，使用了一下发现功能比较强大，几乎可以模拟浏览器的所有行为，可以实现的功能有： 比起使用curl，fsockopen等函数来说方便很多，下面总结一下这个类一些属性与方法的作用。 方法: fetch($url) 该方法用于抓取网页内容，类似于file_get_co ...
分类：
其他好文 时间：
2016-08-31 09:25:54
阅读次数：
130
PHP 利用 Curl 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，然而因为php语言本身不支持多线程，所以开发爬虫程序效率并不高，一般采集 数据可以利用 PHPquery类来采集数据库，在此之外也可以用 Curl ，借助Curl 这个功能实现并发多线程的访问多个url地址 ...
分类：
编程语言 时间：
2016-08-30 22:48:10
阅读次数：
302
通过程序自动的读取其它网站网页显示的信息，类似于爬虫程序。比方说我们有一个系统，要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。 为了完成以上的需求，我们就需要模拟浏览器浏览网页，得到页面的数据在进行分析，最后把分析的结构，即整理好的数据写入数据库。那么 ...
分类：
Web程序 时间：
2016-08-01 19:17:02
阅读次数：
191
一、介绍 httpClient是Apache公司的一个子项目, 用来提高高效的、最新的、功能丰富的支持http协议的客户端编程工具包。完成可以模拟浏览器发起请求行为。 二、简单使用例子 ： 模拟浏览器发起访问谷歌首页请求 1、pom.xml 配置 2、示例 打印出来的结果是这样子的 ...
分类：
Web程序 时间：
2016-07-31 17:18:29
阅读次数：
218
Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序和小偷程序，本文章详细介绍snoopy的使用教程。
Snoopy的一些特点:
抓取网页的内容 fetch
抓取网页的文本内容 (去除HTML标签) fetchtext
抓取网页的链接，表单 fetchlinks fetchform
支持代理主机
支持基本的用户名/密码验证
支持设置...
分类：
Web程序 时间：
2016-07-13 06:57:00
阅读次数：
206
1. 控制浏览器窗口大小 2. 控制浏览器前进后退 3. 模拟浏览器刷新 ...
分类：
编程语言 时间：
2016-07-10 16:47:05
阅读次数：
198
前面我们介绍了如何求解极验验证码的滑块目标位移，下面我就就要开始实施拖动滑块破解了。因为我们采取的是模拟人的行为操作，而极验验证码都是js渲染的，因此我们需要一个工具来帮我们完成这个渲染过程得到一个完整的页面，否则一切都是空谈。这里我将使用casperJs+phantomJs来实现目标。 phant... ...
分类：
其他好文 时间：
2016-07-09 01:52:48
阅读次数：
256
我们一般要抓取一个网站的静态页面来完成我们的需求，其实在这里面有很多种方式可以完成， php内置函数file_get_contents();file();readfile();都可以进行网页抓取，但是这种方式毕竟是有很大 局限性的，例如我们要访问一个需要登录的网站，需要登录验证信息，这是后php内置 ...
分类：
Web程序 时间：
2016-07-07 14:23:25
阅读次数：
334
