在上一篇中，我们说了模拟登录， 下面我们说说附件上传。 据说，最早的http协议是不支持附件上传的，后来有添加了一个RFC 2045 协议，才支持附件上传，关于附件上传，请参见 http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_h ...
1 import yh 2 from selenium import webdriver 3 from PIL import Image 4 # from selenium.webdriver import ActionChains 5 # from selenium.webdriver impor ...
分类：
Web程序 时间：
2021-04-23 12:10:24
阅读次数：
0
验证码识别 反爬机制：验证码，识别验证码图片中的数据，用于模拟登录操作 验证码识别的操作：推荐第三方自动识别——超级鹰等 实战一：古诗文网登录页面中的验证码。 使用打码平台识别验证码的编码流程： -将验证码图片进行本地下载 -调用平台提供的示例代码进行图片数据识别 1 import requests ...
分类：
其他好文 时间：
2021-02-18 13:26:34
阅读次数：
0
需要用requests库 豆瓣上次更新后，就不能通过直接的requests.post()方式直接传递参数登录了。必须新建session，先GET请求，然后POST才能成功。原因未知 data参数中的四个Key-Value的顺序任意 import requests url='https://accou ...
分类：
其他好文 时间：
2020-10-18 09:58:00
阅读次数：
24
之前遇到一个问题：项目的某些接口是需要登录的而且登录不能多用户登录。模拟登录的时候传入请求头的其中一个参数比较复杂，需要登录后的某些参数拼接和加密后设置成全局变量，在请求头中调用这个变量，正常的设置全局变量的方法百度搜索一大堆，要对一个处理后的变量进行全局变量比较难找。下面是我的处理过程 1.先正常 ...
分类：
其他好文 时间：
2020-09-17 12:13:56
阅读次数：
33
本节主要内容有：通过requests库模拟表单提交通过pandas库提取网页表格上周五，大师兄发给我一个网址，哭哭啼啼地求我：“去!把这个网页上所有年所有县所有作物的数据全爬下来，存到Access里!”我看他可怜，勉为其难地挥挥手说：“好嘞，马上就开始!”目标分析大师兄给我的网址是这个：https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg打开长这样
分类：
编程语言 时间：
2020-08-25 15:58:21
阅读次数：
55
前言 在完成爬虫任务的时候，我们总是会遇到用户账号登陆的问题，如果自己手动登陆的话，那么工作量就很大了，如何解决登陆问题呢？ 今天老师带领大家使用selenium完成淘宝账号登陆 本篇文章知识点： selenium自动化测试框架的基本使用 通过xpath寻找相应组件并自动化操作 环境介绍： pyth ...
分类：
编程语言 时间：
2020-08-01 21:30:27
阅读次数：
104
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #1.对验证码图片进行捕 ...
分类：
其他好文 时间：
2020-07-28 10:08:07
阅读次数：
164
验证码识别 反爬机制：验证码 识别验证码图片中的数据用于模拟登录相关之间真的操作 识别验证码的操作： - 人工肉眼的识别 - 第三方自动识别 - 云打码 模拟登录： - 爬取基于某些基于用户的用户信息. 需求：对人人网进行模拟登录 - 点击登录按钮之后会发起一个post请求 - post请求中会携带 ...
分类：
编程语言 时间：
2020-07-28 10:06:43
阅读次数：
73
在web sprider crawl过程中,许多网站都需要登录后才能访问，一般如果我们不用爬虫框架的前提下，常规用的就两个库 ，urllib库和requests库，本文将用最基础的urllib库，以模拟登录人人网为例，理清爬虫过程中登录访问和cookie的思绪。 1.终极方案，也是最简单粗暴最有效的 ...
分类：
编程语言 时间：
2020-07-18 00:32:56
阅读次数：
71
