scrapy engine（引擎）：负责spider，ItemPipeline，Downloader，Scheduler中间的通讯，信号，数据传递等 Scheduler（调度器）：它负责接受引擎发送过来的request请求，并按照一定的方式进行整理排列，入队，当引擎需要是交还给引擎 Download ...
分类：
其他好文 时间：
2018-11-02 14:35:23
阅读次数：
314
什么是urllib模块： urllib是python提供的一个用操作url的模块，在Python2.X中，有urllib库，也有urllib2，在python3.X中urllib2合并到了urllib中。包括以下模块： urllib.request 请求模块 urllib.error 异常处理模块 ...
分类：
Web程序 时间：
2018-10-28 18:07:01
阅读次数：
220
Python的内置HTTP请求库 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparse robots.txt解析模块 ...
分类：
编程语言 时间：
2018-10-26 10:41:20
阅读次数：
178
""" 分页器 """ from django.utils.safestring import mark_safe class Pagination: # request 为request请求， all_count为所有数据的个数， per_num为一页展示多少数据， max_show分多少页 de ...
分类：
其他好文 时间：
2018-10-23 21:07:18
阅读次数：
113
Django的request请求需要首先经过中间件处理，再通过URL查找到对应的views函数进行处理。在settings的MIDDLEWARE_CLASSES中 添加设置中间件进行激活，大致原理如下图所示： 在使用Django框架进行开发的过程中，遇到一个问题：要求对觉得多数页面请求request ...
分类：
其他好文 时间：
2018-10-20 19:43:52
阅读次数：
192
/** * 跳转至列表页面时的主逻辑算法（绑定级联下拉框） * @param request 请求对象 * @param modelMap 页面参数集合 * @param source 表单数据源 * @param mainEntity 主实体bean * @param service 主业务控制器... ...
分类：
其他好文 时间：
2018-10-20 16:18:00
阅读次数：
153
一、 //引入模块 const http = require('http'); //创建服务 const server = http.createServer(function(req,res){ //request 请求 //response 响应 输出 //console.log('人来了'); ...
分类：
其他好文 时间：
2018-10-19 16:45:19
阅读次数：
136
CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板 的代码： scrapy genspider -t crawl tencent tencent.com 上一个案例中，我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以换个花样... class ...
分类：
其他好文 时间：
2018-10-15 16:29:58
阅读次数：
178
什么是Urllib Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块 urlopen 关于urllib.re ...
分类：
编程语言 时间：
2018-10-12 17:03:29
阅读次数：
215
本节内容 1. 内容回顾 1. HTTP协议消息的格式: 1. 请求(request) 请求方法 路径 HTTP/1.1\r\n k1:v1\r\n ...\r\n \r\n 请求体 <-- 可以有,可以没有 2. 响应(response) HTTP/1.1 状态码 状态描述符\r\n k1:v1\ ...
分类：
编程语言 时间：
2018-10-11 01:44:41
阅读次数：
314
