import re, requests, json, os, time from io import BytesIO headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, l ...
分类：
Web程序 时间：
2020-06-16 23:15:52
阅读次数：
91
环境变量设置 1.项目中添加.env的文件 2.在项目中使用${.env(变量名)}进行使用 - config: name: "phpwind论坛的首页模拟" base_url: ${ENV(URL)} requests: headers: "Accept": "text/html,applicat ...
分类：
Web程序 时间：
2020-06-16 19:58:55
阅读次数：
95
以下有两种添加水印的方法，第一种和第二种的区别是实现透明图层的方式不一样 一.图片叠加实现图层透明 #-*- coding:utf-8 -*- import requests as req from mysqlDemo import switchLogoUrl from io import Byte ...
分类：
编程语言 时间：
2020-06-16 15:04:37
阅读次数：
69
进程间通信 见天写了一段爬虫代码，通过信号量控制进程数量，代码如下： #!/usr/bin/python3 # -*- encoding: utf-8 -*- import requests from bs4 import BeautifulSoup from multiprocessing imp ...
分类：
系统相关 时间：
2020-06-16 00:34:08
阅读次数：
70
pymongo是在Python环境下使用MongoDB的方法。 以某电商网站搜索“连衣裙”的第一页商品数据抓取下来并存入MongoDB数据库。 import requests import pymongo client = pymongo.MongoClient('localhost',27017) ...
分类：
数据库 时间：
2020-06-15 17:47:09
阅读次数：
73
简介：Tenacity是一个通用的retry库，简化为任何任务加入重试的功能。 不懂这个库怎么用， 很简单，哦对了，可能还需要你知道装饰器就是那个@啦就够了，上菜！ import tenacity import requests # 直接加上retry装饰器，代码抛出异常会一直重试，直到代码运行成功 ...
分类：
其他好文 时间：
2020-06-15 17:25:19
阅读次数：
51
背景：自动化测试代码运行结果失败的地方需要通知相关同学去维护自己的代码，以及总的运行时长和用例数形成一个简易的通知。 import sys import requests import argparse import re #映射关系 user_info={} class SendMsg2QYRot ...
分类：
微信 时间：
2020-06-15 11:50:47
阅读次数：
360
1. ## 今日内容大纲 1. 自定义模块 2. 模块是什么? 3. 为什么要有模块? + 什么是脚本? 4. 模块的分类 5. import的使用 + 第一次导入模块执行三件事 + 被导入模块有独立的名称空间 + 为模块起别名 + 导入多个模块 6. from ... import ... + f ...
分类：
编程语言 时间：
2020-06-15 09:43:42
阅读次数：
59
爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。 #!/usr/local/bin/python3.7 from selenium import webdri ...
分类：
编程语言 时间：
2020-06-14 20:53:53
阅读次数：
155
今天写了一个requests爬虫，在运行的时候发生了requests.exceptions.ConnectionError：('Connection aborted.', ConnectionResetError(54, 'Connection reset by peer')) 错误。 我马上goo ...
分类：
其他好文 时间：
2020-06-14 16:56:33
阅读次数：
408
