码迷,mamicode.com
首页 >  
搜索关键字:requests 、beautifulsoup    ( 5272个结果
python-requests身份认证, 流式请求。
很多接口需要进行身份认证,比如基本验证和摘要验证。basicauth 和 digestanth。 首先导入认证模块 from requests.auth import httpbasicanth from requests.anth import httpdigestanth 进行身份认证: r=r ...
分类:编程语言   时间:2020-05-04 00:19:58    阅读次数:138
《百年孤独》百度百科的爬取
一、参考网址:https://baike.baidu.com/item/%E7%99%BE%E5%B9%B4%E5%AD%A4%E7%8B%AC/688708?fr=aladdin 二、源代码: import requestsdef A(): try: r=requests.get(url) r.r ...
分类:其他好文   时间:2020-05-03 20:58:08    阅读次数:82
requests库使用-cookie设置
import requests baseurl='http://httpbin.org' cookie={'user':'51zxw'} 设置cookie的内容,将cookie赋予给参数cookie r=requests.get(baseurl+'/cookies',cookies=cookie) ...
分类:其他好文   时间:2020-05-03 20:52:17    阅读次数:75
豆瓣电影top250(网络爬虫)
1.主题:豆瓣电影top250的爬取 2.requests库和beautifulsoup4的安装 中间遇到了一次pip的升级,整体的安装还是比较顺利的 3.在看了requests库和beatufulsoup4库的用法后就开始做了 做的还是比较简单 遇到的困难:事实上这个网站是经过了5次的实验才得到的 ...
分类:其他好文   时间:2020-05-03 18:24:29    阅读次数:131
爬取剑来
剑来爬取 一,先下载requests库 二,找到自己感兴趣的网站,我这里在纵横找到了剑来小说的网页和地址 三,结果 四,代码 import requestsm = "http://dushu.baidu.com/pc/reader?gid=4305547728&cid=10364019"r = re ...
分类:其他好文   时间:2020-05-03 17:02:45    阅读次数:69
1,zabbix-api获取token
[root@centos7 zabbix-demo]# cat zabbix_base.py #! /usr/bin/python3 # -*- coding:utf-8 -*- import json import requests url = 'http://192.168.0.11/zabbi ...
分类:Windows程序   时间:2020-05-03 16:58:18    阅读次数:78
网络爬虫
代码: import requestsm = "https://pc.yiyouliao.com/msn/article.html?recId=e2d8f7ea299745d8a1d46a6adeb35c5f_s&infoId=II01KDO8ABM0ND8"r = requests.get(m)r ...
分类:其他好文   时间:2020-05-03 16:18:00    阅读次数:51
Python接口自动化之unittest单元测试
在上一篇Python接口自动化测试系列文章:Python接口自动化之requests请求封装, 主要通过源码分析,总结出一套简洁的请求类封装。 以下主要介绍unittest特性、运行流程及实际案例。 一、单元测试三连问 1、什么是单元测试? 按照阶段来分,一般就是单元测试,集成测试,系统测试,验收测 ...
分类:编程语言   时间:2020-05-03 13:04:34    阅读次数:65
首“战”爬虫
前言 曾经年少无知,笑对python爬虫。 如今首战未捷,却已头顶清凉... 奈何心中执着,不愿面对结果。 若有江湖侠客,还望拔刀相助! 思路 网站选取的是爱奇艺的电影排行 requests和bs4库的安装也较为轻松 爬取的过程比较顺利,问题出现在对信息的处理上 处理过程:1.简单了解函数find_ ...
分类:其他好文   时间:2020-05-03 12:42:06    阅读次数:101
网络爬虫百度新闻标题及链接爬取
1.主题:百度新闻爬取 2. python代码: import requests from bs4 import BeautifulSoup def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status( ...
分类:其他好文   时间:2020-05-03 10:59:32    阅读次数:207
5272条   上一页 1 ... 50 51 52 53 54 ... 528 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!