一、原理 Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。它是Python写的库，但是它实现的通讯协议也可以使用ruby，php，javascript等调用。异步任务除了消息队列的后台执行的方式，还是一种则是定时计划任务。 C ...
分类：
编程语言 时间：
2020-02-08 09:43:16
阅读次数：
148
官方文档：https://hadoop.apache.org/docs/stable/，目前官方已经是3.x，但yarn机制没有太大变化 一、简介 在Hadoop1.0中，没有yarn，所有的任务调度和资源管理都是MapReduce自己来做，所以在Hadoop1.0中，最核心的节点是JobTrack ...
分类：
其他好文 时间：
2020-02-07 16:24:04
阅读次数：
62
ScheduledThreadPoolExecutor继承了ThreadPoolExecutor,是一个指定一定延迟时间后或者定时进行任务调度执行的线程池 参考自《java并发编程之美》 ...
分类：
其他好文 时间：
2020-02-04 00:14:40
阅读次数：
100
今天的学习主要是了解spark生态体系以及观看了子雨大数据之Spark入门教程（Scala版）的介绍，现将对spark的初步了解以及日后可能会用到的一些知识总结如下： 一、spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People L ...
分类：
其他好文 时间：
2020-02-02 01:33:35
阅读次数：
93
什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统。专注于实时处理的异步任务队列。同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组 ...
分类：
其他好文 时间：
2020-01-31 23:01:41
阅读次数：
86
「JSOI2011」任务调度 "传送门" 一开始还在想写平衡树，看到 $\text{TRANS}$ 操作后就晓得要用可并堆了。 这题好像就是个可并堆的板子题？？？ + 直接往对应的对里面加元素 + 在对应的堆里面找到这个元素，讨论一下它是不是根节点，然后抠出来重新加进去 + 合并两个堆 + 查堆顶的 ...
分类：
Web程序 时间：
2020-01-31 20:45:25
阅读次数：
89
 