curl是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载，所以是综合传输工具，但按传统，习惯称url为下载工具。-a/--append 上传文件时，附加到目标文件 -A/--user-agent <string> 设置用户代理发送给服务器 - anyauth 可以使用“任何” ...
分类：
Web程序 时间：
2018-06-22 17:39:00
阅读次数：
229
if($http_user_agent~"((MIDP)|(WAP)|(UP.Browser)|(Smartphone)|(Obigo)|(Mobile)|(AU.Browser)|(wxd.Mms)|(WxdB.Browser)|(CLDC)|(UP.Link)|(KM.Browser)|(UCWEB)|(SEMC-Browser)|(Mini)|(Symbian)|(Palm)|(Nokia)
分类：
移动开发 时间：
2018-06-22 17:38:09
阅读次数：
210
nginx访问日志日志格式[root@aminglinux-02nginx]#vimconf/nginx.conflog_formatcombined_realip‘$remote_addr$http_x_forwarded_for[$time_local]‘‘$host"$request_uri"$status‘‘"$http_referer""$http_user_agent"‘;combin
分类：
其他好文 时间：
2018-06-19 10:32:53
阅读次数：
237
爬虫的核心思想：模拟浏览器正常访问服务器，一般情况只要浏览器能访问的，都可以爬，如果被反爬，则考虑反复测试添加Request Header数据，知道可以爬取为止。 反爬思路目前知道的有：User Agent，Cookie，Referer，访问速度，验证码，用户登录及前端js代码验证等。本例遇到js验 ...
分类：
编程语言 时间：
2018-06-17 19:04:48
阅读次数：
438
User-Agent 出现在请求报头中，表示客户端的操作系统、浏览器型号版本等信息。服务器可以根据此报头向客户端返回不同的页面以适应客户端。有些网站(知乎)会校验此报头，不填写或者不主流的报头都不能拿到正常的页面。因此自己在写爬虫的时候最好将从浏览器中拷贝到代码中。 Cookie 出现在请求抱头中， ...
分类：
其他好文 时间：
2018-06-16 17:58:26
阅读次数：
132
转海峰老师博客 http://www.cnblogs.com/linhaifeng/articles/8243379.html User_Agent:：用户代理 Cookie：之前的登陆信息，凭证 Referer：从哪跳转来的 1xx：指示信息--表示请求已接收，继续处理 2xx：成功--表示请求已 ...
分类：
Web程序 时间：
2018-06-11 20:30:36
阅读次数：
201
Apache2.4使用require指令进行访问控制--允许或限制IP访问/通过User-Agent禁止不友好网络爬虫 从Apache2.2升级到Apache2.4后，发现原来用来限制部分IP和垃圾网络爬虫的访问控制规则不起作用，查询后才发现，Apache2.4中开始使用mod_authz_host ...
分类：
Web程序 时间：
2018-06-08 20:39:55
阅读次数：
262
1邮件发送过程 通常我们通过一个邮箱程序填好邮件信息（如163邮箱等），点击发送按钮就将该电子邮件发送出去了。这个邮箱程序被称为邮件用户代理（Mail User Agent，MUA），它的功能就是用于收发邮件。 Email从MUA发出后，不是直接到达对方电脑，而是发送到邮件传输代理（Mail Tra ...
分类：
编程语言 时间：
2018-06-07 15:37:25
阅读次数：
256
一、限定某个目录禁止解析php通过禁止php解析图片目录，来限制网站被×××恶意找到后门获取到数据库权限#vim/usr/local/apache2.4/conf/extra/httpd-vhosts.conf#/usr/local/apache2.4/bin/apachectl-t#/usr/local/apache2.4/bin/apachectlgraceful#mkdirupload//在
分类：
Web程序 时间：
2018-06-05 13:21:38
阅读次数：
171
11.29 限制user_agent
11.30/11.31 php相关配置
分类：
Web程序 时间：
2018-06-05 10:15:29
阅读次数：
222
