前言 官网：https://www.quartz scheduler.net/ 一款开源的任务定时器。 日常有很多地方需要定时刷新的，比如微信开发中的微信API token，或者定时清理一下缓存数据等，应用场景还是比较常见。 接下来介绍一下这个简单好用的库。 引用 在Nuget管理中添加引用: Qu ...
分类：
其他好文 时间：
2019-03-15 19:22:50
阅读次数：
232
1.Scrapy框架介绍 主要介绍，spiders，engine，scheduler,downloader,Item pipeline scrapy常见命令如下： 对应在scrapy文件中有，自己增加爬虫文件，系统生成items,pipelines,setting的配置文件就这些。 items写需要 ...
分类：
编程语言 时间：
2019-03-14 00:48:22
阅读次数：
193
介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Scheduler ...
分类：
其他好文 时间：
2019-03-12 21:15:05
阅读次数：
201
1.kubectl提交创建pod命令,api响应命令,通过一系列认证授权,把pod数据存储到etcd,创建deployment资源并初始化.2.controller通过list-watch机制,监测发现新的deployment,将该资源加入到内部工作队列,发现该资源没有关联的pod和replicaset,启用deploymentcontroller创建replicaset资源,再启用replica
分类：
其他好文 时间：
2019-03-12 12:16:19
阅读次数：
274
#（1）规划master01:192.168.19.128master02:192.168.19.129VIP:192.168.19.133#（2）在跳板机上更新master证书和把证书发送到master上#catk8s-csr.json{"CN":"kubernetes","hosts":["127.0.0.1","192.168.19.128","192.168.19.129","192.16
分类：
其他好文 时间：
2019-03-05 17:13:05
阅读次数：
195
1. Master节点： Master作为集群控制节点，所有的控制命令都是发给他 - 提供了Http Rest接口，所有的资源操作入口，集群控制入口 - “大总管”：所有资源自动化控制中心-Controller Manager - “调度室”：负责资源调度-Scheduler 2. Node节点： ...
分类：
Web程序 时间：
2019-03-04 19:27:04
阅读次数：
188
1.获取schedule 2.修改trigger 然后就修改了执行的时间，改成了5秒一次。 ...
分类：
编程语言 时间：
2019-03-03 16:15:50
阅读次数：
234
一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower（非必须） worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个 ...
分类：
其他好文 时间：
2019-02-20 09:51:48
阅读次数：
154
2019/2/19星期二yarn任务调度--capacityscheduler（容量调度）/fairscheduler（公平调度）由于集群资源有限，当无法满足众多application的资源请求时，yarn需要适当的策略对application的资源请求进行调度；Scheduler概述Yarn中实现的调度策略有三种：FIFO/Capacity/FairSchedulers（1）FIFOSchedu
分类：
其他好文 时间：
2019-02-19 16:24:07
阅读次数：
211
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Dow ...
分类：
其他好文 时间：
2019-02-16 13:51:06
阅读次数：
163
