user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3" ...
分类：
编程语言 时间：
2019-10-02 17:02:06
阅读次数：
193
import requestsfrom lxml import etree url='https://ie.icoa.cn/'head={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like ...
分类：
其他好文 时间：
2019-09-26 23:43:24
阅读次数：
235
import re import requests url="http://ipgw.neu.edu.cn/srun_cas.php?ac_id=1" head={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.... ...
分类：
编程语言 时间：
2019-08-28 18:37:57
阅读次数：
289
def ipinfocip(ip): # 获得 输入框中的信息 url = "http://www.cip.cc/%s" % ip # 模拟浏览器请求网络 headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKi... ...
分类：
编程语言 时间：
2019-08-02 00:06:26
阅读次数：
153
# 设置随机请求头 设置代理ip # 在middleware.py文件中 写一个类 class MiddlewearproDownloaderMiddleware(object): user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) Ap... ...
分类：
其他好文 时间：
2019-07-03 00:10:20
阅读次数：
99
'''访问登陆页面请求URL：https://github.com/login请求方式：GET请求头：COOKIESUser-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chro ...
分类：
其他好文 时间：
2019-07-01 17:09:33
阅读次数：
108
首先先了解下nginx日志的格式（未修改conf文件的日志格式）220.248.44.xx--[11/Jun/2019:08:32:47+0000]"GET/HTTP/1.1"20053902"http://47.102.121.2xx/""Mozilla/5.0(WindowsNT10.0;WOW64;Trident/7.0;rv:11.0;SE
分类：
其他好文 时间：
2019-06-26 09:20:37
阅读次数：
114
$value) { echo $value."\r\n"; } function spider(){ $headers=array( 'user-agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gec... ...
分类：
Web程序 时间：
2019-06-21 14:28:29
阅读次数：
164
简单使用IP代理池和用户代理池的爬虫importreimportrandomimporturllib.requestasurlreqimporturllib.errorasurlerr#用户代理池uapools=["Mozilla/5.0(WindowsNT10.0;WOW64;rv:52.0)Gecko/20100101Firefox/52.0","Mozilla/5.0(WindowsNT10
分类：
其他好文 时间：
2019-05-20 00:54:01
阅读次数：
150
####PC端UA #Opera "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60" "Oper... ...
分类：
其他好文 时间：
2019-04-26 19:37:20
阅读次数：
4550
