码迷,mamicode.com
首页 >  
搜索关键字:requests 、beautifulsoup    ( 5272个结果
requests登录网易云音乐并签到
登录主要参考https://www.cnblogs.com/zhuchunyu/p/10978093.html以及https://www.zhihu.com/question/36081767 通过观察发现网易云音乐不同的请求其参数加密方法是不变的,只是加密的内容不同 登录页的加密内容是 {"pho ...
分类:其他好文   时间:2020-07-02 22:10:51    阅读次数:141
自动化测试Robot FrameWork框架
一、简介 Robot FrameWork是完全基于Python实现的开源的自动化测试框架,RF已经封装好的各个模块,基于关键字驱动的形式来实现的自动化测试。其case采用表格形式易读,且支持BDD,可容纳各种外置库,可以继承Selenium、Appium、Requests实现各类自动化 二、安装(环 ...
分类:其他好文   时间:2020-07-02 18:07:32    阅读次数:106
爬取豆瓣 Top250书籍
'''爬取豆瓣top250书籍''' import requests import json import csv from bs4 import BeautifulSoup books = [] def book_name(url): headers = { 'User-Agent': 'Mozi ...
分类:其他好文   时间:2020-07-02 16:39:12    阅读次数:70
一个简单的python多协程实例
import xlrd,threading, requests,threading,json,time,math import numpy as np import gevent from queue import Queue products = Queue() result = Queue() ...
分类:编程语言   时间:2020-07-02 16:05:50    阅读次数:105
让 http 服务人类 (一)
1、发送请求 import requestsr = requests.get("https://www.baidu.com/")print(r)r = requests.post('http://httpbin.org/post', data = {'key':'value'})print(r)"" ...
分类:Web程序   时间:2020-07-01 23:56:45    阅读次数:116
Python3调用zabbixAPI,snmp协议监控路由器简单模板
python version: python3.6 system version: Centos 8.2.2004 zabbix version: 5.0 import requests import json import uuid import sys import subprocess aut ...
分类:编程语言   时间:2020-07-01 15:54:46    阅读次数:69
Python最简单的图片爬虫,20行代码带你爬遍整个网站
前言 网络上的信息很多,有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图,零基础学会通用爬虫,当然我们还可以实现多线程爬虫,加快爬虫爬取速度 环境: windows pycharm python3 导入模块 import urllib.par ...
分类:编程语言   时间:2020-06-30 22:46:04    阅读次数:89
Selenium模块的使用(一)
简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器, 完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器。 环境安装 下载安装sele ...
分类:其他好文   时间:2020-06-30 20:54:19    阅读次数:65
(二)断点调试
文章链接:https://www.cnblogs.com/50614090/p/7389451.html,https://www.cnblogs.com/Z-Queen/p/12898857.html fiddler有两种断点,Before Requests(可以修改请求参数)、After Resp ...
分类:其他好文   时间:2020-06-30 17:27:59    阅读次数:49
批量爬取网站上的文本和图片,并保存至word中
1 from pyquery import PyQuery as pq 2 import requests as rs 3 from docx import Document 4 from docx.shared import RGBColor 5 6 7 html = ''' 8 https:// ...
分类:Web程序   时间:2020-06-30 17:15:14    阅读次数:117
5272条   上一页 1 ... 24 25 26 27 28 ... 528 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!