1、get请求: get(url, params, headers) 2、json 解析 3、content 获取二进制内容 4、headers 添加 5、post请求：post（url，data，headers） 6、files 文件上传 7、cookie 获取 8、session 会话维持 模拟 ...
分类：
编程语言 时间：
2018-11-04 15:35:47
阅读次数：
186
1.OpenCV-3.2.0+OpenCV_contrib-3.2.0编译安装过程 1）下载官方要求的依赖包 GCC 4.4.x or later CMake 2.6 or higher Git GTK+2.x or higher, including headers (libgtk2.0-dev) ...
分类：
系统相关 时间：
2018-11-03 13:58:05
阅读次数：
305
对页面信息进行简单抓取：需要注意的问题 ： auth-sign 和 auth 都是有一定的时效性，还有url原url是https这里要改为http请求。 这参数的问题需要通过mitmdump去获取请求的具体参数并将之取出，不用手动去截获分析http请求和响应，写好请求和相应的处理逻辑，通过pytho... ...
分类：
移动开发 时间：
2018-11-02 12:57:14
阅读次数：
1585
public void Post() { //方法一，传json参数 var d = new { username = " ", password = " ", grant_type = "password", ... ...
import json import requests from requests.exceptions import RequestException import re import time def get_one_page(url): try: headers = { 'User-Agent... ...
分类：
其他好文 时间：
2018-10-30 14:53:36
阅读次数：
189
Request对象： 对象在我们写爬虫，爬取一页的数据需要重新发送一个请求的时候调用。这个类需要传递一些参数，其中比较常用的参数有： 1. ：这个request对象发送请求的url。 2. ：在下载器下载完相应的数据后执行的回调函数。 3. ：请求的方法。默认为 方法，可以设置为其他方法。 4. ： ...
分类：
其他好文 时间：
2018-10-27 22:58:54
阅读次数：
260
1、构建请求对象 headers = { 这里面写需要定制的请求头，想定制哪个定制哪个 } request = urllib.request.Request(url=url, headers=headers) response = urllib.request.urlopen(request) 2、 ...
分类：
其他好文 时间：
2018-10-26 13:17:23
阅读次数：
207
1、头信息检查是否频繁相同 随机产生一个headers， #user_agent 集合 user_agent_list = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/ ...
分类：
编程语言 时间：
2018-10-25 17:05:03
阅读次数：
501
1.普通下载 import requests import os import re from lxml import etree from urllib import request def get_detail(url): headers = { "User-Agent": "Mozilla/5 ...
分类：
编程语言 时间：
2018-10-25 14:23:00
阅读次数：
192
import requests, refrom requests.exceptions import RequestExceptiondef get_one_page(url, agent): try: response = requests.get(url, headers=agent) if r ...
分类：
其他好文 时间：
2018-10-25 14:09:42
阅读次数：
383
