filebeat6.4.3采集nginx日志nginx日志格式规范：将日志配置组合添加至nginx主配置文件；log_formateslog‘$remote_addr-$remote_user[$time_local]"$request"‘‘$status$body_bytes_sent"$http_referer"‘‘"$http_user_agent""$http_x_forwarded_fo
分类：
其他好文 时间：
2018-11-16 20:59:05
阅读次数：
1078
语法： curl [option] [url] 常用参数：-A/--user-agent <string> 设置用户代理发送给服务器-b/--cookie <name=string/file> cookie字符串或文件读取位置-c/--cookie-jar <file> 操作结束后把cookie写入 ...
分类：
Web程序 时间：
2018-11-15 18:29:29
阅读次数：
221
1 function isWeixin() { 2 if (strpos($_SERVER['HTTP_USER_AGENT'], 'MicroMessenger') !== false) { 3 return true; 4 } 5 return false; 6 } ...
分类：
微信 时间：
2018-11-15 01:33:16
阅读次数：
196
``` headers = """
Accept: */*
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Connection: keep-alive
User-Agent: Mozilla/5.0 (Macin... ...
分类：
其他好文 时间：
2018-11-13 16:16:58
阅读次数：
173
在使用爬虫的时候，有时候会看到由于目标计算机积极拒绝，无法连接...，这就是因为我们的爬虫被识别出来了，而这种反爬虫主要是通过IP识别的，针对这种反爬虫，我们可以搭建一个自己的IP代理池，然后用这些IP去访问网站。 新建一个proxies.py，实现我们自己的代理池，主要模块有获取模块、验证模块和存 ...
分类：
编程语言 时间：
2018-11-07 14:03:53
阅读次数：
1772
import json import requests from requests.exceptions import RequestException import re import time def get_one_page(url): try: headers = { 'User-Agent... ...
分类：
其他好文 时间：
2018-10-30 14:53:36
阅读次数：
189
percentuseragentsystemuser_agent_string_md5 8.9% Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 ...
分类：
Web程序 时间：
2018-10-29 11:13:55
阅读次数：
506
import requests, refrom requests.exceptions import RequestExceptionlis = []head = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)' ' AppleWebKit/5 ...
1、头信息检查是否频繁相同 随机产生一个headers， #user_agent 集合 user_agent_list = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/ ...
分类：
编程语言 时间：
2018-10-25 17:05:03
阅读次数：
501
1、对于多个访问同一个地址的http，可以设置“http默认请求设置” 2、如图填写相应信息即可 3、对于需要权限（如登录后）的请求，可添加“HTTP Cookie管理器”，如图所示 4、正常添加即可 5、有些网站对请求头有校验，如user-agent，添加“HTTP消息头管理器”，如图所示添加即可 ...
分类：
其他好文 时间：
2018-10-25 14:24:25
阅读次数：
206
