pipeline管道可以减少后端与redis的连接次数，从而实现了优化。 原理如下： 原理如下： 使用方法： 未使用pipeline前： 使用pipeline后： 拓展： pipline.execute()有返回值，是一个列表，返回值的True或False，代表执行成功或失败 ...
分类：
其他好文 时间：
2018-11-14 14:31:58
阅读次数：
519
好久没弄AssetBundle了 最近又试了下，发现打包和加载还是比之前的变化蛮大的，都差点弄不出来。 废话也不多说了直接上代码，注释比较多，基本在代码中就能看懂了 打包 DoAssetbundle.cs C# 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 ...
分类：
其他好文 时间：
2018-11-13 00:21:37
阅读次数：
255
Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline ...
分类：
数据库 时间：
2018-11-12 11:24:29
阅读次数：
227
背景介绍 在一些业务场景，我们需要把离线训练好的模型以微服务部署线上，如果是简单的使用sklearn pipeline，可以保存为XML格式的pmml供Java调用，在配置为4 core，8G内存的docker环境可以提供8K左右的高并发，并且这种docker可以快速大规模部署到PaaS云平台，优势 ...
分类：
编程语言 时间：
2018-11-11 14:18:23
阅读次数：
282
执行顺序：pipeline写 pipeline类class Scrapyproject1Pipeline(object): def process_item(self, item, spider): 写items类：class Scrapyproject1Item(scrapy.Item): url ...
分类：
其他好文 时间：
2018-11-10 10:40:03
阅读次数：
185
Scrapy 爬虫关于如何将Scrapy集成到Django应用程序(反之亦然)有两篇文章。但是它们中的大多数都没有介绍完整的示例，其中包括从Django视图触发爬行器。因为这是一个web应用程序，所以这一定是我们的主要目标。我们需要什么?在我们开始之前，最好明确我们想要的是什么以及我们想要它的方式。 ...
分类：
其他好文 时间：
2018-11-09 16:13:54
阅读次数：
139
MongoDB：管道操作 使用聚合框架可以对集合中的文档进行变换和组合。基本上，可以用多个构件创建一个管道（pipeline），用于对一连串的文档进行处理。这些构件包括筛选（filter）、投射（projecting）、分组（grouping）、排序（sorting）、限制（limiting）和跳过 ...
分类：
数据库 时间：
2018-11-07 16:38:57
阅读次数：
333
代码安全检查 代码安全检查 需要安装SonarQube(版本6.7，安装了Findbugs插件) MySQL >=5.6，笔者安装的是MySQL 5.7版本 Jenkins需要安装下列插件： SonarQube Scanner for Jenkins Sonar Quality Gates Plug ...
分类：
其他好文 时间：
2018-11-07 11:42:34
阅读次数：
555
将jar包、Dockerfile、kubernetes部署yaml文件上传至svn自定义目录 一、生成流水线脚本 二、配置jenkins pipeline构建语句 三、点击构建java工程 ...
分类：
编程语言 时间：
2018-11-06 19:34:33
阅读次数：
405
ELK集群搭建手册 一、 环境准备： 三台Linux服务器，ip地址分别为： 192.168.25.30 192.168.25.31 192.168.25.32 角色划分： 3台机器全部安装jdk1.8，因为elasticsearch是java开发的 3台全部安装elasticsearch (后续都 ...
分类：
其他好文 时间：
2018-11-06 13:24:49
阅读次数：
298
