基于Request库进行搭建 Request: request库是用来发送HTTP请求，接收HTTP响应的一个python库 request库经常被用来，爬取，网站信息，用它来发起HTTP请求到网站，从HTTP响应消息中提取信息 request不是python的标准库，属于第三方库，需要进行安装：p ...
分类：
其他好文 时间：
2020-07-28 10:17:40
阅读次数：
140
主要目前很简单就是移除nginx request 中的query_string，因为rewrite 阶段处理的是uri ，不包含query_string,但是rewrite 会包含 query_string ,我们可以通过args 变量重写，当然也可以基于openresty 的 ngx.req.se ...
分类：
其他好文 时间：
2020-07-28 00:31:29
阅读次数：
227
看了好久的wp才做出来的一道题目，感觉自己太菜了。 给出源码（加了几条注释） #! /usr/bin/env python #encoding=utf-8 from flask import Flask from flask import request import socket import h ...
分类：
其他好文 时间：
2020-07-27 17:42:11
阅读次数：
65
大部分的网站展示的数据都进行了分页操作，那么将所有页码对应的页面数据进行爬取就是爬虫中的全站数据爬取。 基于scrapy如何进行全站数据的爬取? 使用request方法，给callback传参(函数), 函数解析请求回来的数据，实现全站数据爬取 爬虫文件 import scrapy from lea ...
分类：
其他好文 时间：
2020-07-27 17:41:42
阅读次数：
69
【一、项目简介】本文主要目标是采集淘宝的评价，找出客户所需要的功能。统计客户评价上面夸哪个功能多，比如防水，容量大，好看等等。【二、项目准备工作】1.准备Pycharm，下载安装等，可以参考这篇文章：Python环境搭建—安利Python小白的Python和Pycharm安装详细教程2.爬取商品地址，如下所示：https://detail.tmall.com/item.htm?spm=a230r.
分类：
编程语言 时间：
2020-07-27 09:55:52
阅读次数：
103
# 设置爬虫的用户代理池以及ip代理池 import urllib.request import random def set_user_ip_proxy(): #设置用户代理池 header_list = ["Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv ...
分类：
Web程序 时间：
2020-07-27 09:27:04
阅读次数：
116
此关联数组包含$_GET和$_POST以及$_COOKIE中的全部内容。倘若表单中有一个输入域名的名称为 name="address",表单是通过 POST 方法提交的，则 address 文本输入框中的数据存在$_POST[“address”]中；倘若表单是通过 GET 方法提交的，数据将保存在$ ...
分类：
其他好文 时间：
2020-07-26 19:11:44
阅读次数：
57
web框架推导 django框架初识 django静态文件配置 & request对象 django与mysql数据库基本操作 django请求生命周期流程 django路由层 django版本区别 django视图层 模版语法 django模型层 AJax form组件 cookie & sess ...
分类：
其他好文 时间：
2020-07-26 19:07:13
阅读次数：
60
网络设备的打开函数需要完成如下工作： 使能设备使用的硬件资源，申请 I/O 区域、中断和 DMA 通道等。 调用 Linux 内核提供的 netif_start_queue( )函数，激活设备发送队列。 网络设备的关闭函数需要完成如下工作： 调用 Linux 内核提供的 netif_stop_que ...
分类：
系统相关 时间：
2020-07-26 11:16:27
阅读次数：
101
1、常用的装饰器有：before_request、after_request（这两个装饰器有点类似于django的中间件组件） 源码： 1 def preprocess_request(self): 2 """Called before the request is dispatched. Call ...
分类：
其他好文 时间：
2020-07-26 01:48:46
阅读次数：
61
