一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower（非必须） worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个 ...
分类：
其他好文 时间：
2019-02-20 09:51:48
阅读次数：
154
2019/2/19星期二yarn任务调度--capacityscheduler（容量调度）/fairscheduler（公平调度）由于集群资源有限，当无法满足众多application的资源请求时，yarn需要适当的策略对application的资源请求进行调度；Scheduler概述Yarn中实现的调度策略有三种：FIFO/Capacity/FairSchedulers（1）FIFOSchedu
分类：
其他好文 时间：
2019-02-19 16:24:07
阅读次数：
211
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Dow ...
分类：
其他好文 时间：
2019-02-16 13:51:06
阅读次数：
163
http://www.quartz-scheduler.org/ 项目中导入quartz包 新建2个job类 spring xml配置 启动运行项目即可看到每隔一段时间执行了方法。 ...
分类：
其他好文 时间：
2019-02-15 21:18:55
阅读次数：
214
这个定时任务插件精确的时间可以到秒，使用方面跟jfinal-scheduler插件的使用方式差不多 Dreampie/jfinal-quartz Dreampie/jfinal-quartz https://github.com/Dreampie/jfinal-quartz/blob/master/ ...
分类：
其他好文 时间：
2019-02-13 20:43:40
阅读次数：
549
#启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使... ...
分类：
其他好文 时间：
2019-02-12 23:16:14
阅读次数：
269
打开服务 找到Task Scheduler 打开即可 若无法启动Task Scheduler 服务的通用解决方案 【方法】： Ctrl+R->cmd->然后选中cmd ，点击右键，以管理员权限运行： 输入：netsh winsock reset 重启电脑后，cmd - services.msc 进去 ...
什么是预测io 预测io是linux2.6版本内核调用默认的调用程序，对应用程序进行跟踪，统计应用程序使用io情况，在读操作返回之前先停顿6ms时间（linux默认时间），如果这期间有读操作过来，可以进行优化，就进行优化，提高了系统的吞吐量。 思考 那可不可以在计算机里面训练模型，对内存调度进行统计 ...
分类：
其他好文 时间：
2019-02-09 21:13:29
阅读次数：
180
镜像下载： docker pull mirrorgooglecontainers/kube-apiserver-amd64:v1.11.2 ; \ docker tag mirrorgooglecontainers/kube-apiserver-amd64:v1.11.2 k8s.gcr.io/ku... ...
分类：
其他好文 时间：
2019-02-09 15:08:38
阅读次数：
997
由于工作项目中使用LTS作为消息队列，这几天有空正好研究一下。 1. 先去GitHub上下载源码：https://github.com/ltsopensource/light-task-scheduler 2. 根据需要，下载mysql、zookeeper，jdk使用Java8，Java11都行 启 ...
分类：
其他好文 时间：
2019-02-06 12:04:20
阅读次数：
233
