#coding=utf-8 """ Author:多测师_王sir Time:2020/5/20 17:24 Wechat:15367499889 Company:上海多测师信息有限公司 """ import requests class SendRequest(object): """cookie ...
分类：
编程语言 时间：
2020-05-31 21:30:35
阅读次数：
69
Python之爬取网页时遇到的问题——BeautifulSoup https://cuiqingcai.com/1319.htmlhttp://cuiqingcai.com/1319.html ， http://blog.csdn.net/akak714/article/details/501307 ...
分类：
编程语言 时间：
2020-05-31 19:44:08
阅读次数：
105
by 闲欢 上一篇我们介绍了 Requests 库的基本用法，学会之后大家就可以应付一般的请求了。这一篇我们接着介绍 Requests 的高级用法，以便应付一些棘手的问题。 会话维持 在 requests 中，直接使用 get() 或 post() 方法确实可以做到模拟网页的请求，但是这实际上是两个 ...
分类：
其他好文 时间：
2020-05-31 16:07:30
阅读次数：
57
by 闲欢 之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。 介绍 首先让我们来看 Requests 官方的 ...
分类：
其他好文 时间：
2020-05-31 16:06:53
阅读次数：
48
概要 实现思路 使用方法 启动队列服务 使用队列服务 概要 在调用第三方 API 的时候, 基本都有访问限速的限制条件. 第三方的 API 有多个的时候, 就不太好控制访问速度, 常常会导致 HTTP 429(Too Many Requests) 然后就会有一段时间的禁止访问. 为了应对这种限速的情 ...
老虎社区 'https://www.laohu8.com/stock/' 百度股票不行了 import requests import re from bs4 import BeautifulSoup import collections import traceback def getHtmlTe ...
分类：
其他好文 时间：
2020-05-31 15:56:18
阅读次数：
65
代码如下： #BatchInstall.py import os libs = {'numpy','matplotlib','pillow','sklearn','requests',\ 'jieba','beautifulsoup4','wheel','networkx','sympy',\ 'p ...
分类：
编程语言 时间：
2020-05-31 15:53:27
阅读次数：
89
通过发送的接口文档和地址，练习 requests 的使用： 1， 注册失败 2， 注册成功 3， 登录失败 4， 登录成功 # 根据上课演示内容： # 通过设置不同的参数，params, data, json 观察结果。 # 通过设置不同的 headers 观察结果。 # 提交 requests 代 ...
分类：
其他好文 时间：
2020-05-31 13:20:17
阅读次数：
61
代理截断工具有burpsuite、fiddler都是比较知名的，功能强大，此类工具有一个特性，就是必须设置代理服务器和端口才可以，burpsuite需要手工设置，fiddler是自动设置8080端口，自动设置比较方便，但是如果8080端口用了，会存在问题也要手工配置代理信息，现在很多移动端的app和web网站都对代理做了判断，通过获取客户端的HTTP_X_FORWARDED_FOR信息可以晓得是否
分类：
其他好文 时间：
2020-05-31 09:35:22
阅读次数：
108
网络编程 基于HTTP协议的网络资源访问 这部分主要是通过requests库实现访问url以及获取相应内容，通过对内容进行进一步加工来完成。具体操作可以以后通过小项目的实现来尝试。 基于传输层协议的套接字编程 比较陌生的概念。套接字(socket)是指用c语言写成的应用程序开发库，主要用于实现进程间... ...
分类：
编程语言 时间：
2020-05-30 20:17:33
阅读次数：
99
