最近做一个爬虫项目,需要curl请求第三方系统,其中一个请求放到postman的时候秒回,代码curl请超时,打印错误信息:empty reply from server 翻阅网上资料无果,只能用排除法,去掉请求的一些配置看是哪里影响了,最后发现去掉post data 后请求秒回,虽然返回的是请求失 ...
分类:
Web程序 时间:
2021-05-24 07:00:36
阅读次数:
0
python正则表达式 1、re简介 正则表达式re,是Regular Expression的简称。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 2、在python中使用正则表达式 在python中许多场合(本人是在使用爬虫时)正则表达式都能起到很关键的作用,在使用前,先引用re包 ...
分类:
编程语言 时间:
2021-05-24 06:44:03
阅读次数:
0
1 from selenium import webdriver 2 from time import sleep 3 import random 4 class testCase(object): 5 def __init__(self): 6 url = 'http://www.baidu.co ...
分类:
Web程序 时间:
2021-05-24 06:36:25
阅读次数:
0
Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略: Master端(核心服务器):搭建一个Redis数据库,并开启redis-server ...
分类:
其他好文 时间:
2021-05-24 06:20:04
阅读次数:
0
一. 安装: 1. 安装py3,使用Homebrew: ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew install python3 2. 安装请求库,Pi ...
分类:
编程语言 时间:
2021-05-24 04:50:49
阅读次数:
0
Selenium基本操作 Selenium工具原理 Selenium2的核心是webdriver webdriver是按照 client-server设计原理设计 client:简单来说就是我们写的代码,以http请求的方式发送给server端,server 端接收请求,执行相应操作,并返回给cli ...
分类:
其他好文 时间:
2021-05-24 04:49:43
阅读次数:
0
直接上代码吧 中间件简单使用: # -*- coding: utf-8 -*- # Define here the models for your spider middleware # # See documentation in: # https://docs.scrapy.org/en/lat ...
分类:
其他好文 时间:
2021-05-24 03:01:58
阅读次数:
0
基于Flask的示例 Server端 from flask import Flask,render_template import time app = Flask(__name__) @app.route('/bobo') def index_bobo(): time.sleep(2) retur ...
分类:
其他好文 时间:
2021-05-24 02:55:58
阅读次数:
0
1.服务端渲染技术nuxt 1.1什么是服务器端渲染 服务端渲染又称SSR (Server Side Render)是在服务端完成页面的内容,而不是在客户端通过AJAX获取数据。 服务器端渲染(SSR)的优势主要在于:更好的 SEO,由于搜索引擎爬虫抓取工具可以直接查看完全渲染的页面。 如果你的应用 ...
分类:
其他好文 时间:
2021-05-24 02:40:40
阅读次数:
0
第二天,主要学习如何定位元素 1. 定位方法,即如何定位,这需要我们对HTML有一定的了解 个人推荐使用xpath定位,因为他简单实用:直接找到你需要的“检查”,然后点击左键,选择copy, 选择xpath就可以了。得到后,最好使用CTRL+F查找一下,看看是否有多个,一定要准确。 #建议百度寻找 ...
分类:
编程语言 时间:
2021-05-24 00:12:48
阅读次数:
0