1.MAC安装Ruby环境 1> 安装RVM 控制台命令：$curl –L https://get.rvm.io | bash –s stable$source ~/.rvm/scripts/rvm$rvm –v (查看版本，检查是否安装正确)2> 用rvm安装ruby环境$rvm install ...
分类：
其他好文 时间：
2014-08-27 18:23:48
阅读次数：
217
CURLOPT_HEADER：设为1，则在返回的内容里包含http header；CURLOPT_FOLLOWLOCATION：设为0，则不会自动301，302跳转；*CURLOPT_INFILESIZE: 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。*CURLOPT_VERBO...
分类：
其他好文 时间：
2014-08-27 18:09:48
阅读次数：
154
在基于LibCurl的程序里，主要采用callback function （回调函数）的形式完成传输任务，用户在启动传输前设置好各类参数和回调函数，当满足条件时libcurl将调用用户的回调函数实现特定功能。下面是利用libcurl完成传输任务的流程：1. 调用curl_global_init()初...
分类：
其他好文 时间：
2014-08-27 18:08:48
阅读次数：
218
CURL的中文资料比较少，下面是实际工作中用到，摸索出来的，记录之。1、增加HTTP Header curl_slist *plist = curl_slist_append(NULL, "Client-Key:m-5be02cd9ddfb11dcaf9700142218fc6e"); curl_s...
分类：
其他好文 时间：
2014-08-27 18:01:08
阅读次数：
194
如果用curl访问http站点，要传递参数时，需要用\作为&的前缀。比如：http://myjenkins/job/run_schedule/buildWithParameters?token=fe80::c6d9:87ff:fe76:d1e9\&schedule_name=requirement_schedule...
分类：
其他好文 时间：
2014-08-27 16:39:58
阅读次数：
481
前两天看到有人求客户端socket发HTTP包的代码，受flw版主启发找了一些perl的资料，不过对perl还是不太熟悉。也没有深入的研究。无意中发现了libcurl.so这个库。去google上搜索发现它是处理客户端发送HTTP请求的库以及可以处理web服务器回送回来的包。研究了两天将研究的成果，...
分类：
编程语言 时间：
2014-08-27 16:02:57
阅读次数：
266
file_get_contents 和 curl 这俩强悍的函数,在远程抓取时候相当有用处.不过一些网站会根据来访ip是否携带user_agent来判断是正常的浏览器客户端还是机器.所以,我们的任务就是给他们伪造user_agent. file_get_cont...
分类：
其他好文 时间：
2014-08-26 20:02:26
阅读次数：
189
curl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本。概念编辑它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP...
分类：
其他好文 时间：
2014-08-25 21:08:14
阅读次数：
1253
<?php $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com"); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RET...
分类：
Web程序 时间：
2014-08-25 11:32:55
阅读次数：
186
其实抓ajax异步内容的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求，只要使用firebug类似的工具，找到请求的后端服务url和传值的参数，然后对该url传递参数进行抓取即可。利用Firebug的网络工具 如果抓去的是页面，则内容中没有显示的数据，是一堆JS代码。Code...
分类：
Web程序 时间：
2014-08-24 23:37:43
阅读次数：
283
