问题情景： scrapy爬取网页，返回值418（按照请求来说，是一个完整的网络请求）。说明此接口已经被后台爬虫检测程序检测到了。 通过研读scrapy文档，在自定义的418检测下载中间件里面，process_response中检测返回值，并设置request的http/https代理,然后retur ...
分类：
其他好文 时间：
2020-07-08 19:36:11
阅读次数：
66
经历过企查查这个网站后，强烈感觉到使用抓包的重要性，以至于决定从此以后使用抓包进行模拟请求，放弃使用F12进行分析。 写下这篇文章，奠基死去的F12~~~ 1 import requests 2 from lxml import etree 3 4 url = "https://www.qcc.co ...
分类：
其他好文 时间：
2020-07-08 16:56:45
阅读次数：
167
【一、Virtual DOM简介】 Virtual DOM是虚拟节点，它通过Javascript的Object对象模拟DOM中的节点，然后通过特定的render方法将其渲染成真实的DOM节点。 浏览器在处理DOM时，总会附加很多属性，这会使得每一次数据更新，渲染很慢。 Virtual DOM利用Ja ...
分类：
其他好文 时间：
2020-07-08 15:21:00
阅读次数：
70
<script> //身份证号合法性验证 //支持18位身份证号 //支持地址编码、出生日期、校验位验证 function IdentityCodeValid(code) { var city = { 11: "北京", 12: "天津", 13: "河北", 14: "山西", 15: "内蒙古" ...
分类：
Web程序 时间：
2020-07-07 20:27:18
阅读次数：
178
一、基本思路 打开F12 尝试输入单词girl，会发现每敲一个字母后都有请求 请求地址是http://fanyi.baidu.com/sug 利用NetWork-All-Hearders，查看发现Fromdata的值是 kw:girl 检查返回内容格式，发现返回的是json格式的内容，所以需要用到j ...
分类：
编程语言 时间：
2020-07-07 13:42:20
阅读次数：
135
scrapy.Spider 这一节我们来聊一聊爬虫文件 1. 请求发送 # -*- coding: utf-8 -*- import scrapy class BaiduSpider(scrapy.Spider): name = 'baidu' allowed_domains = ['baidu.c ...
分类：
其他好文 时间：
2020-07-06 22:45:57
阅读次数：
63
scrapy框架结构 1. 项目结构 1.1 认识文件 这里我们简单认识一下, 在一个scrapy爬虫项目中各个文件都是用来做什么的, 知道了这些文件是干嘛的, 那么我们来写我们的项目就会很得心应手了. 这次我们还以上次百度的那个项目为例 spider1 | |——spider1 | ├─spide ...
分类：
其他好文 时间：
2020-07-06 22:42:49
阅读次数：
61
scrapy是python的一个爬虫框架，从网上随意搜索便能得到千篇一律的使用demo（本文也是哟），并且非常容易理解。即便你没看过相关的demo，也一样可以食用本文。我的应用场景大多是列表页，文章页等。如果你的业务需要登录验证，图片验证等，请另寻他法，不要在本篇文章浪费你宝贵的时间。由于我的代码编 ...
分类：
其他好文 时间：
2020-07-06 18:16:18
阅读次数：
70
条件：1.第三方包github.com/tebeka/selenium，selenium自动化测试工具2.google驱动chromedriver.exe，要与本地浏览器的版本号对应，下载：http://npm.taobao.org/mirrors/chromedriver/流程：1.开启googl ...
分类：
其他好文 时间：
2020-07-06 17:53:43
阅读次数：
55
模拟登录 验证码的识别 线上的打码平台 超级鹰 url：https://www.chaojiying.com/about.html 使用流程： 注册：注册一个用户中心的账号 登录：用户中心的身份 创建一个软件ID： 899370 下载示例代码 云打码 动态变化的请求参数 动态变化请求参数的处理 一般 ...
分类：
其他好文 时间：
2020-07-06 16:01:12
阅读次数：
46
