登录主要参考https://www.cnblogs.com/zhuchunyu/p/10978093.html以及https://www.zhihu.com/question/36081767 通过观察发现网易云音乐不同的请求其参数加密方法是不变的,只是加密的内容不同 登录页的加密内容是 {"pho ...
分类:
其他好文 时间:
2020-07-02 22:10:51
阅读次数:
141
一、简介 Robot FrameWork是完全基于Python实现的开源的自动化测试框架,RF已经封装好的各个模块,基于关键字驱动的形式来实现的自动化测试。其case采用表格形式易读,且支持BDD,可容纳各种外置库,可以继承Selenium、Appium、Requests实现各类自动化 二、安装(环 ...
分类:
其他好文 时间:
2020-07-02 18:07:32
阅读次数:
106
'''爬取豆瓣top250书籍''' import requests import json import csv from bs4 import BeautifulSoup books = [] def book_name(url): headers = { 'User-Agent': 'Mozi ...
分类:
其他好文 时间:
2020-07-02 16:39:12
阅读次数:
70
import xlrd,threading, requests,threading,json,time,math import numpy as np import gevent from queue import Queue products = Queue() result = Queue() ...
分类:
编程语言 时间:
2020-07-02 16:05:50
阅读次数:
105
1、发送请求 import requestsr = requests.get("https://www.baidu.com/")print(r)r = requests.post('http://httpbin.org/post', data = {'key':'value'})print(r)"" ...
分类:
Web程序 时间:
2020-07-01 23:56:45
阅读次数:
116
python version: python3.6 system version: Centos 8.2.2004 zabbix version: 5.0 import requests import json import uuid import sys import subprocess aut ...
分类:
编程语言 时间:
2020-07-01 15:54:46
阅读次数:
69
前言 网络上的信息很多,有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图,零基础学会通用爬虫,当然我们还可以实现多线程爬虫,加快爬虫爬取速度 环境: windows pycharm python3 导入模块 import urllib.par ...
分类:
编程语言 时间:
2020-06-30 22:46:04
阅读次数:
89
简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器, 完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器。 环境安装 下载安装sele ...
分类:
其他好文 时间:
2020-06-30 20:54:19
阅读次数:
65
文章链接:https://www.cnblogs.com/50614090/p/7389451.html,https://www.cnblogs.com/Z-Queen/p/12898857.html fiddler有两种断点,Before Requests(可以修改请求参数)、After Resp ...
分类:
其他好文 时间:
2020-06-30 17:27:59
阅读次数:
49
1 from pyquery import PyQuery as pq 2 import requests as rs 3 from docx import Document 4 from docx.shared import RGBColor 5 6 7 html = ''' 8 https:// ...
分类:
Web程序 时间:
2020-06-30 17:15:14
阅读次数:
117