import requestsfrom bs4 import BeautifulSoupimport reimport osimport jsonfrom urllib import parseheaders='''Accept-Ranges: bytesAccess-Control-Allow-O ...
分类：
编程语言 时间：
2019-05-11 21:31:56
阅读次数：
432
简介 如果想用python做接口测试，我们首先有不得不了解和学习的模块。它就是第三方模块：Requests。 虽然Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。更好的方案是使用 requests。它是一个Python第三方库，处理URL资 ...
分类：
编程语言 时间：
2019-05-11 13:38:38
阅读次数：
149
爬取网站图片 运用requests模块处理url并获取数据,etree中xpath方法解析页面标签,urllib模块urlretrieve保存图片,"iso-8859-1"处理中文乱码 ...
分类：
其他好文 时间：
2019-05-09 23:35:01
阅读次数：
148
python链家网二手房异步IO爬虫，使用asyncio、aiohttp和aiomysql 很多小伙伴初学python时都会学习到爬虫，刚入门时会使用requests、urllib这些同步的库进行单线程爬虫，速度是比较慢的，后学会用scrapy框架进行爬虫，速度很快，原因是scrapy是基于twis ...
分类：
编程语言 时间：
2019-05-09 15:28:29
阅读次数：
139
from selenium import webdriver import requests,os from lxml import etree from selenium.webdriver.chrome.options import Options from urllib import requ... ...
分类：
其他好文 时间：
2019-05-06 18:56:21
阅读次数：
118
[TOC] scrapy框架的日志等级和请求传参, 优化效率 Scrapy的日志等级 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 ...
分类：
其他好文 时间：
2019-05-04 18:50:14
阅读次数：
170
一．parse.urlencode()与parse.unquote()urllib和urllib.request都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：1.urllib仅可以接受URL，不能创建设置了headers的Request类实例；2.但是urllib提供urlencode方法用来GET查询字符串的产生，而urllib.request则没有。（这是urlli
分类：
编程语言 时间：
2019-05-04 18:50:02
阅读次数：
290
```
# python执行lua脚本 import requests
from urllib.parse import quote lua = '''
function main(splash) return 'hello'
end
''' url = 'http://localhost:8050... ...
分类：
其他好文 时间：
2019-05-04 11:49:10
阅读次数：
144
urllib.request库是Python3自带的模块(不需要下载，导入即可使用)urllib.request库在windows下的路径（C:\Python\Lib\urllib），python自带的模块库文件都是在C:\Python\Lib目录下（C:\Python是我Python的安装目录），python第三方模块库都是在C:\Python\Lib\site-packages下。一：用url
分类：
编程语言 时间：
2019-05-04 09:45:59
阅读次数：
175
反爬问题 1. 反爬 [用户代理] web开发中，同一个url往往可以对应若干套不同的数据（或者界面,如手机、电脑），后台可以根据发起请求的前端的用户代理的不同，而决定应该给前端做出什么样的响应 如果检测到没有用户代理可以拒绝访问 解决方案：伪装请求头 2. 解决 创建 Request 对象req ...
分类：
Web程序 时间：
2019-05-02 11:57:57
阅读次数：
226
