1、获取URL对应的资源 get、head 2、实例 try: url = 'https://www.baidu.com/s?' kv = {'wd': 'python'} hd = {'user-agent': 'Chrome/10'} r = requests.get(url, params=k ...
分类：
其他好文 时间：
2020-06-22 18:52:51
阅读次数：
59
代码示例 FileUploadController.java: 1 package com.atguigu.controller; 2 3 import org.springframework.stereotype.Controller; 4 import org.springframework.u ...
分类：
编程语言 时间：
2020-06-22 17:23:08
阅读次数：
61
前言 1. 本系列文章基于 Tomcat9 2. 前置知识：servlet 定义 先来看看容器的定义，Tomcat 源码注释如下： /** * A <b>Container</b> is an object that can execute requests received from * a cl ...
分类：
其他好文 时间：
2020-06-22 13:00:55
阅读次数：
52
我们已经抓取了一个HTML页面，接下来，我们使用BeautifulSoup来分析页面。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python- ...
分类：
编程语言 时间：
2020-06-22 10:52:00
阅读次数：
56
类库安装路径：python36/lib/site-package/requests header需要加的 1. url-encode 2. json 3. xml 4.html5、file 不要加 #3 form# host = 'http://ws.webxml.com.cn'# headers ...
分类：
Web程序 时间：
2020-06-22 00:56:40
阅读次数：
97
整个爬虫流程 1、scrapy crawl chouti --nolog 2、找到 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 配置并实例化调试器对象 - 执行Scheduler.from_crawler - 执行Scheduler.from_set ...
分类：
其他好文 时间：
2020-06-21 19:40:00
阅读次数：
56
数据库参数化的场景 部分接口，参数其他方式获取不到，可以去数据库去获取，如手机验证码 安装pymysql 配置文件 def sql_conf(): # 定义数据库的配置 host='127.0.0.1' user='root' password='123456' database='employee ...
分类：
数据库 时间：
2020-06-21 17:39:11
阅读次数：
60
在数据量大的时候，需要使用文件参数化。 excel文件是其中一种。 安装xlrd读取excel文件。（这里是在pycharm安装） 发现选择豆瓣安装失败，阿里云安装成功。 准备excel文件，放在test_data目录下 在common目录下定义函数 import xlrd def get_exce ...
分类：
其他好文 时间：
2020-06-21 12:08:00
阅读次数：
98
异步协程 wait()方法的作用 wait方法的参数只能是任务列表，作用：wait可以将任务列表中的每一个任务对象进行可挂起操作 挂起 可以让当前被挂起的任务对象交出CPU的使用权 实现异步的原理： 当任务列表被wait方法修饰且已经被注册到事件循环中后，loop就会先去执行第一个任务对象， 在执行 ...
分类：
编程语言 时间：
2020-06-21 10:03:47
阅读次数：
71
完整代码 import threading import requests from lxml import etree import os from urllib import request from queue import Queue #案例： #需要将多个页码对应页面中的图片进行爬取。 # ...
分类：
其他好文 时间：
2020-06-21 09:24:21
阅读次数：
75
