码迷，mamicode.com
首页 > Web开发 > 详细

CURL的学习和应用

时间：2015-06-01 12:52:51      阅读：181      评论：0      收藏：0      [点我收藏+]

标签：

curl安装：

xp下面的安装

：修改php.ini文件的设置，找到php_curl.dll

//取消下在的注释
extension=php_curl.dll

 

linux下面安装：

# wget http://curl.haxx.se/download/curl-7.17.1.tar.gz
# tar zxvf curl-7.17.1.tar.gz  //解压

#cd curl-7.17.1
# ./configure --prefix=/usr/local/curl
# make
# make install

这是安装php之前安装的方法.

***************************phpinf查看是否加载成功！

使用curl的POST数据飞信接口

用curl 写了飞信接口吧，网上有很多，这里只是做个测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$username = 13800138000;
$password = 123456;
$sendto = 13912345678;
$message = "测试一个试试看！";
 
$curlPost = ‘username=‘.urlencode($username).‘&password=‘.urlencode($password).‘&sendto=‘.urlencode($sendto).‘&message=‘.urlencode($message).‘‘;
 
$ch = curl_init();//初始化curl
curl_setopt($ch,CURLOPT_URL,‘http://sms.api.bz/fetion.php‘);//抓取指定网页
curl_setopt($ch, CURLOPT_HEADER, 0);//设置header
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//要求结果为字符串且输出到屏幕上
curl_setopt($ch, CURLOPT_POST, 1);//post提交方式
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec($ch);//运行curl
curl_close($ch);
print_r($data);//输出结果

　　

返回的结果是：短信已提交到发送队列！

飞信接口的地址是http://sms.api.bz/

飞信接口模式：

http://sms.api.bz/fetion.php?username=您的移动飞信登录手机号
&password=您的移动飞信登录密码
&sendto=接收短信的飞信好友手机号
&message=短信内容

格式：http://sms.api.bz/fetion.php?username=13800138000&password=123456&sendto=13912345678&message=短信内容

注意要保持utf-8格式的，这点我犯错了

总结一下使用curl方法：

  • 初始化curl
  • 使用curl_setopt设置目标url，和其他选项，这些选项方法详细参考：http://cn2.php.net/manual/zh/ref.curl.php
  • curl_exec，执行curl
  • 执行后，关闭curl
  • 最后一步就是输出

 一个最要的curl函数：curl_getinfo

curl_getinfo ( resource $ch [, int $opt = 0 ] )

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<?php
/*curl实例
*/
$curl = curl_init();
 
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, ‘http://www.baidu.com‘);
 
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 0);
 
// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
 
// 运行cURL，请求网页
$data = curl_exec($curl);
if($data === false){
    echo curl_error($curl);exit;
}
$info = curl_getinfo($curl);
// 关闭URL请求
curl_close($curl);
 
 
// 显示获得的数据
var_dump($info);
var_dump($data);

　　

 

可以返回：

  • URLINFO_EFFECTIVE_URL - 最后一个有效的URL地址
  • CURLINFO_HTTP_CODE - 最后一个收到的HTTP代码
  • CURLINFO_FILETIME - 远程获取文档的时间，如果无法获取，则返回值为“-1”
  • CURLINFO_TOTAL_TIME - 最后一次传输所消耗的时间
  • CURLINFO_NAMELOOKUP_TIME - 名称解析所消耗的时间
  • CURLINFO_CONNECT_TIME - 建立连接所消耗的时间
  • CURLINFO_PRETRANSFER_TIME - 从建立连接到准备传输所使用的时间
  • CURLINFO_STARTTRANSFER_TIME - 从建立连接到传输开始所使用的时间
  • CURLINFO_REDIRECT_TIME - 在事务传输开始前重定向所使用的时间
  • CURLINFO_SIZE_UPLOAD - 上传数据量的总值
  • CURLINFO_SIZE_DOWNLOAD - 下载数据量的总值
  • CURLINFO_SPEED_DOWNLOAD - 平均下载速度
  • CURLINFO_SPEED_UPLOAD - 平均上传速度
  • CURLINFO_HEADER_SIZE - header部分的大小
  • CURLINFO_HEADER_OUT - 发送请求的字符串
  • CURLINFO_REQUEST_SIZE - 在HTTP请求中有问题的请求的大小
  • CURLINFO_SSL_VERIFYRESULT - 通过设置CURLOPT_SSL_VERIFYPEER返回的SSL证书验证请求的结果
  • CURLINFO_CONTENT_LENGTH_DOWNLOAD - 从Content-Length: field中读取的下载内容长度
  • CURLINFO_CONTENT_LENGTH_UPLOAD - 上传内容大小的说明
  • CURLINFO_CONTENT_TYPE - 下载内容的Content-Type:值，NULL表示服务器没有发送有效的Content-Type: header          

使用curl实现多线程

curl一般用来抓取网页，第二种就是get或者post数据，第三种应用就是实现PHP的多线程任务

下面来实现多线程的

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
<?php
/*
curl 多线程抓取
*/
 
 /**
     * curl 多线程
     * 
     * @param array $array 并行网址
     * @param int $timeout 超时时间
     * @return array
     */
 function Curl_http($array,$timeout){
    $res = array();
    $mh = curl_multi_init();//创建多个curl语柄
    $startime = getmicrotime();
    foreach($array as $k=>$url){
        $conn[$k]=curl_init($url);
         
        curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间
        curl_setopt($conn[$k], CURLOPT_USERAGENT, ‘Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)‘);
        curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别
        curl_setopt($conn[$k], CURLOPT_HEADER, 0);//这里不要header，加块效率
        curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
        curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
        curl_multi_add_handle ($mh,$conn[$k]);
    }
     //防止死循环耗死cpu 这段是根据网上的写法
        do {
            $mrc = curl_multi_exec($mh,$active);//当无数据，active=true
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时
        while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时，active=true
            if (curl_multi_select($mh) != -1) {
                do {
                    $mrc = curl_multi_exec($mh, $active);
                } while ($mrc == CURLM_CALL_MULTI_PERFORM);
            }
        }
     
    foreach ($array as $k => $url) {
          curl_error($conn[$k]);
          $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息
          $header[$k]=curl_getinfo($conn[$k]);//返回头信息
          curl_close($conn[$k]);//关闭语柄
          curl_multi_remove_handle($mh  , $conn[$k]);   //释放资源 
        }
         
        curl_multi_close($mh);
        $endtime = getmicrotime();
        $diff_time = $endtime - $startime;
         
        return array(‘diff_time‘=>$diff_time,
                     ‘return‘=>$res,
                    ‘header‘=>$header       
                    );
     
 }
 //计算当前时间
 function getmicrotime() {
        list($usec, $sec) = explode(" ",microtime());
        return ((float)$usec + (float)$sec);
    }
     
    //测试一下，curl 三个网址
    $array = array(
                "http://www.weibo.com/",
                "http://www.renren.com/",
                "http://www.qq.com/"
                );
 
    $data = Curl_http($array,‘10‘);//调用
    var_dump($data);//输出
      
?>

　　

1
  

关于do while的那段解释：

1
因为$active要等全部url数据接受完毕才变成false，所以这里用到了curl_multi_exec的返回值判断是否还有数据，
1
当有数 据的时候就不停调用curl_multi_exec，暂时没有数据就进入select阶段，新数据一来就可以被唤醒继续执行。
1
  

这个多线程的写法步骤：

第一步：调用curl_multi_init
第二步：循环调用curl_multi_add_handle
这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步：持续调用curl_multi_exec
第四步：根据需要循环调用curl_multi_getcontent获取结果
第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close
第六步：调用curl_multi_close

多线程的测试效果图：

技术分享

总结：36个http请求，从执行的是时间顺序上来看，三个网站的ip交叉，说明是同时并发的！

---------------------------------------------------------------------------

linux命令下的curl

几种常见的使用方式：

下载作用：

  • 直接下载 相当于wget

curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

  • 批量下载screen1.JPG--screen10.JPG

curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG

  • 断点下载

curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG

 

反向代理功能

curl -x 123.45.67.89:1080 -o page.html http://www.yahoo.com

显示头文件

curl -I www.sina.com

参考：http://www.21andy.com/blog/20080602/1154.html

http://www.ruanyifeng.com/blog/2011/09/curl.html

CURL的学习和应用

标签：

原文地址：http://www.cnblogs.com/xuan52rock/p/4543587.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！