我们已经抓取了一个HTML页面，接下来，我们使用BeautifulSoup来分析页面。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python- ...
分类：
编程语言 时间：
2020-06-22 10:52:00
阅读次数：
56
类库安装路径：python36/lib/site-package/requests header需要加的 1. url-encode 2. json 3. xml 4.html5、file 不要加 #3 form# host = 'http://ws.webxml.com.cn'# headers ...
分类：
Web程序 时间：
2020-06-22 00:56:40
阅读次数：
97
整个爬虫流程 1、scrapy crawl chouti --nolog 2、找到 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 配置并实例化调试器对象 - 执行Scheduler.from_crawler - 执行Scheduler.from_set ...
分类：
其他好文 时间：
2020-06-21 19:40:00
阅读次数：
56
数据库参数化的场景 部分接口，参数其他方式获取不到，可以去数据库去获取，如手机验证码 安装pymysql 配置文件 def sql_conf(): # 定义数据库的配置 host='127.0.0.1' user='root' password='123456' database='employee ...
分类：
数据库 时间：
2020-06-21 17:39:11
阅读次数：
60
在数据量大的时候，需要使用文件参数化。 excel文件是其中一种。 安装xlrd读取excel文件。（这里是在pycharm安装） 发现选择豆瓣安装失败，阿里云安装成功。 准备excel文件，放在test_data目录下 在common目录下定义函数 import xlrd def get_exce ...
分类：
其他好文 时间：
2020-06-21 12:08:00
阅读次数：
98
异步协程 wait()方法的作用 wait方法的参数只能是任务列表，作用：wait可以将任务列表中的每一个任务对象进行可挂起操作 挂起 可以让当前被挂起的任务对象交出CPU的使用权 实现异步的原理： 当任务列表被wait方法修饰且已经被注册到事件循环中后，loop就会先去执行第一个任务对象， 在执行 ...
分类：
编程语言 时间：
2020-06-21 10:03:47
阅读次数：
71
完整代码 import threading import requests from lxml import etree import os from urllib import request from queue import Queue #案例： #需要将多个页码对应页面中的图片进行爬取。 # ...
分类：
其他好文 时间：
2020-06-21 09:24:21
阅读次数：
75
在前面的章节中我们使用 python manage.py runserver 来运行服务器。这只适用测试环境中使用。正式发布的服务，我们需要一个可以稳定而持续的服务器，比如apache, Nginx, lighttpd等，本文将以 Nginx 为例。你也可以直接参考：Python uwsgi 安装配... ...
分类：
其他好文 时间：
2020-06-20 21:39:22
阅读次数：
48
在执行python脚本的多进程程序时，会随机性的触发程序执行完，无法主动退出的情况。尤其是当进程数足够大时，处理的数据量足够多时。出现退出异常的概率越大。下面的脚本用于解决退出异常问题。 import argparse import requests import getpass from mult ...
分类：
编程语言 时间：
2020-06-20 21:28:54
阅读次数：
128
爬虫中cookie的处理方式有两种 手动处理 将抓包工具中的cookie写入到headers中即可 自动处理 session对象。该对象可以像requests一样进行get和post请求的发送。唯一的不同之处在于，如果使用session进行请求发送的，如果在请求中产生了cookie，则cookie会 ...
分类：
其他好文 时间：
2020-06-20 11:26:35
阅读次数：
88
