1、请求headers处理 我们有时请求服务器时,无论get或post请求,会出现403错误,这是因为服务器拒绝了你的访问,这时我们可以通过模拟浏览器的头部信息进行访问,这样就可以解决反爬设置的问题。 import requests # 创建需要爬取网页的地址 url = 'https://www. ...
分类:
编程语言 时间:
2020-05-21 00:33:50
阅读次数:
75
原文:ASP.NET Core 2.0中的HttpContext说明:参考微软官方文档。 ASP.NET Core 2.0中的HttpContext相较于ASP.NET Framework有一些变化,这边列出一些之间的区别。 在ASP.NET Framework中的 System.Web.HttpC... ...
分类:
Web程序 时间:
2020-05-20 14:40:25
阅读次数:
85
# 爬取网易音乐 import requests from bs4 import BeautifulSoup import urllib.request headers = {"origin": "https://music.163.com", "referer": "https://music.1 ...
分类:
编程语言 时间:
2020-05-19 18:40:16
阅读次数:
107
小程序端: wx.login({ success: function (res) { var code = '' code = res.code wx.request({ url: 'https://xxxx', method: 'POST', data: { appid: 'xxxxx', sec ...
分类:
微信 时间:
2020-05-18 16:18:34
阅读次数:
143
1,尽量使用JsonString作为传输数据(发送与接收) 2,restTemplate方法上@LoadBalance注解存在时,必须配置负载节点。 如未配置,去掉此注解 3,实体参数需重新包装: public HttpEntity<String> getParam(String json){ Ht ...
分类:
其他好文 时间:
2020-05-17 17:44:48
阅读次数:
50
url="https://item.jd.com/100012881854.html" kv = {'user-agent':'Mozilla/5.0'} r = requests.get(url,headers = kv) print(r.status_code) print(r.encoding ...
分类:
其他好文 时间:
2020-05-17 13:38:47
阅读次数:
149
抓包copy数据时省略引起的错误 我的是Cookie省略引起的 在显示属性时,应为属性值过长,所以使用了省略号,导致添加过程中造成了编译错误。 主要原因就是复制Cookie时,因为它太长了,没有等它扩展开来,就直接复制,部分内容变成了省略号 关键错误信息如下: File "/usr/lib/pyth ...
分类:
Web程序 时间:
2020-05-12 11:50:45
阅读次数:
205
fetch和XMLHttpRequest 如果看网上的fetch教程,会首先对比XMLHttpRequest和fetch的优劣,然后引出一堆看了很快会忘记的内容(本人记性不好)。因此,我写一篇关于fetch的文章,为了自己看着方便,毕竟工作中用到的也就是一些很基础的点而已。 fetch,说白了,就是 ...
分类:
其他好文 时间:
2020-05-09 19:28:47
阅读次数:
66
Headers Connection Management State Tansition Diagram Sequence Diagram Normal Simultaneous Open Simultaneous Close Half Close Normal with State Exampl ...
分类:
其他好文 时间:
2020-05-09 18:55:49
阅读次数:
61
1 <?php 2 $array_values['host'] = "host"; 3 $array_values['port'] = 110; 4 $array_values['user'] = '用户名'; 5 $array_values['password'] = '密码'; 6 $array ...
分类:
Web程序 时间:
2020-05-07 19:53:38
阅读次数:
112