目录 1. scrapy安装与环境依赖 2. 创建项目等 命令介绍 3. 项目目录介绍 4. 框架scrapy介绍：五大核心组件与数据流向 5. scrapy 爬取科客网站 6. scrapy实现多页爬取 9. scrapy 篡改请求与响应，item丢弃 10. scrapy中间件 分类，作用 11 ...
分类：
编程语言 时间：
2020-02-29 13:05:14
阅读次数：
246
我们面试经常会被问到数据库优化这块，我们很多时候能回答一些大而化之的策略，例如主从分离，分表分库之类，添加合理的索引，那继续追问，用的什么中间件主从分离，用的什么策略进行分表分库，什么是合理的索引，加了索引表扫描少了多少行，什么情况下索引会失效，好吧，笑容逐凝固，不知如何作答了，本篇就优先围绕sql ...
分类：
数据库 时间：
2020-02-28 18:56:43
阅读次数：
69
整理了一些Java方面的架构、面试资料（微服务、集群、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取 更多优选 "一口气说出 9种 分布式ID生成方式，面试官有点懵了" "面试总被问分库分表怎么办？你可以这样怼他" "3万字总结，Mysql优化之精髓" "为了不复制 ...
分类：
其他好文 时间：
2020-02-28 16:02:44
阅读次数：
91
（1）ActiveMQ的简介 MQ: (message queue) ,消息队列，也就是用来处理消息的，（处理JMS的）。主要用于大型企业内部或与企业之间的传递数据信息。 ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE ...
分类：
其他好文 时间：
2020-02-28 14:23:25
阅读次数：
93
将Python数据类型转换为其他代码格式叫做（序列化），而json就是在各个代码实现转换的中间件。 序列化要求： 1. 只能有int，str，bool，list，dict，tuple的类型支持序列化。 2. json序列化是以字符串形式出现。那么：lis= "[11,22,33]" 这样的也能称为序 ...
分类：
Web程序 时间：
2020-02-28 14:11:53
阅读次数：
85
gin可以构建中间件，但它只对注册过的路由函数起作用 对于分组路由，嵌套使用中间件，可以限定中间件的作用范围 中间件分为全局中间件，单个路由中间件和群组中间件 gin中间件必须是一个 gin.HandlerFunc 类型 1. 全局中间件 所有请求都会经过的中间件 package main impo ...
分类：
其他好文 时间：
2020-02-28 01:02:06
阅读次数：
76
过滤器 beego 支持自定义过滤中间件，例如安全验证，强制跳转等。 过滤器函数如下所示： beego.InsertFilter(pattern string, position int, filter FilterFunc, params ...bool) InsertFilter 函数的三个必填 ...
分类：
其他好文 时间：
2020-02-27 21:02:56
阅读次数：
84
django cors headers介绍 一个Django应用程序，向响应头中添加跨域资源共享（CORS）头。这允许从其他来源向Django应用程序发出浏览器内请求，当然也可以自定义中间件然后添加响应头信息。 关于cors问题可点击此处 安装 注册到settings.py中的应用中 添加一个中间件 ...
分类：
其他好文 时间：
2020-02-27 21:00:33
阅读次数：
72
一、简介 RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。 消息队列都涉及的生产者消费者模型，不做详解，本文只作为快速使用的参考文档。 消息队列主要有点对点和发布订阅模式。 其主要用途是异步、削峰，充当一个缓存的作用。只有可以异步处理时才可以使用消息队 ...
分类：
编程语言 时间：
2020-02-27 20:37:55
阅读次数：
67
1.引子 1.1.为什么要学习数据结构与算法？ 有人说，数据结构与算法，计算机网络，与操作系统都一样，脱离日常开发，除了面试这辈子可能都用不到呀！ 有人说，我是做业务开发的，只要熟练API，熟练框架，熟练各种中间件，写的代码不也能“飞”起来吗？ 于是问题来了：为什么还要学习数据结构与算法呢？ #理由 ...
分类：
编程语言 时间：
2020-02-27 12:53:49
阅读次数：
82
