码迷,mamicode.com
首页 >  
搜索关键字:pipeline    ( 361个结果
如何使用Docker、Docker-Compose和Rancher搭建部署Pipeline(二)
在这一系列文章的第一篇中,我们分享了只用Docker时我们开发的初步的工作流,如何创建一个基础的构建和部署流水线。容器的部署方式不再是在登陆server的时候从内存中输入Docker命令。我们已经通过Jenkinsserver实现了镜像的自动化构建。我们使用脚本将Docker命令进行封装,将其..
分类:其他好文   时间:2017-08-16 15:29:08    阅读次数:6
Owin Middleware如何在IIS集成管道中执行
Owin Middleware Components(OMCs) 通过安装Install-Package Microsoft.Owin.Host.SystemWeb 可以让OMCs在IIS集成管道下工作 在IIS集成管道里,这个request pipeline 包含HttpModules关联到一组预 ...
分类:Windows程序   时间:2017-08-13 11:10:13    阅读次数:10
Scrapy架构概述
Scrapy架构概述 1, 从最初自己编写的spiders,获取到start_url,并且封装成Request对象。 2,通过engine(引擎)调度给SCHEDULER(Requests管理调度器)。 3,SCHEDULER管理ENGINE传递过来的所有Requests,通过优先级,传递给ENGI ...
分类:其他好文   时间:2017-08-09 23:50:07    阅读次数:8
spark总结——转载
转载自:http://smallx.me/2016/06/07/spark%E4%BD%BF%E7%94%A8%E6%80%BB%E7%BB%93/ 第一个Spark程序 关于RDD 弹性分布式数据集(RDD)是分布式处理的一个数据集的抽象,RDD是只读的,在RDD之上的操作都是并行的。实际上,RD ...
分类:其他好文   时间:2017-08-07 22:05:01    阅读次数:9
爬虫(scrapy中的ImagesPipeline)
在使用ImagesPipeline对妹子图网站图片进行下载时,遇到302错误,页面被强制跳转。 解决办法如下: down_load_pic_pipeline类继承了ImagesPipeline类,我们重写get_meidia_requests方法,在请求图片时,加上一个hearders,多次尝试发现 ...
分类:其他好文   时间:2017-08-06 20:55:14    阅读次数:9
Mongodb聚合操作之读书笔记
Mongodb聚合操作 读书笔记 mongodb,两种计算聚合pipeline和mapreduce pipeline查询速度快于mapreduce,但MapReduce能够在多台Server上并行执行复杂的聚合逻辑。 mongodb不允许Pipeline的单个聚合操作占用过多的系统内存,如果一个聚合 ...
分类:数据库   时间:2017-07-31 00:56:25    阅读次数:12
【OpenGL】理解一些基本问题
写在前面啦啦啦,搞了非常久的Unity Shaders。越学越觉得基础知识非常重要。学Unity Shader的时候,总会想。shader究竟是什么呢?shader的pipeline是什么呢?它们是怎么工作的?有哪些限制?等等问题。但这些问题。Unity是不负责告诉你的。它专注于how,而不是wha ...
分类:其他好文   时间:2017-07-30 15:43:34    阅读次数:22
latency analysis for real-time communication on NoC
1.Flow-level analysis considers flows as indivisible transmissions across multiple nodes. As a result, it does not incorporate the effects of pipeline ...
分类:其他好文   时间:2017-07-26 17:46:49    阅读次数:8
Scrapy系列教程(1)------命令行工具
默认的Scrapy项目结构 在開始对命令行工具以及子命令的探索前,让我们首先了解一下Scrapy的项目的文件夹结构。 尽管能够被改动,但全部的Scrapy项目默认有类似于下边的文件结构: scrapy.cfg myproject/ __init__.py items.py pipelines.py ...
分类:其他好文   时间:2017-07-24 17:35:40    阅读次数:8
Python爬虫从入门到放弃(十九)之 Scrapy爬取所有知乎用户信息(下)
在上一篇文章中主要写了关于爬虫过程的分析,下面是代码的实现,完整代码在:https://github.com/pythonsite/spider items中的代码主要是我们要爬取的字段的定义 这些字段的是在用户详细信息里找到的,如下图所示,这里一共有58个字段,可以详细研究每个字段代表的意思: 关 ...
分类:编程语言   时间:2017-07-24 13:29:36    阅读次数:29
361条   1 2 3 4 ... 37 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!