Oracle11g版本中引入了Scheduler(调度)来取代之前版本的JOB（任务）。这里简单介绍一下Scheduler中repeat_interval参数的含义和使用方法。repeat_interval从字面意思来说就是重复间隔。是指用户定义间隔多长时间执行指定的任务。如果不指定该参数，则任务只执行一次。repeat_in..
分类：
数据库 时间：
2017-05-16 10:04:53
阅读次数：
281
1 #!/usr/bin/env python 2 #coding=utf8 3 import time,os,sched,urllib,httplib 4 import smtplib 5 import string 6 7 schedule = sched.scheduler(time.time... ...
分类：
编程语言 时间：
2017-05-15 16:25:14
阅读次数：
315
平时我们在用多线程开发的时候少不了Task，确实task给我们带来了巨大的编程效率，在Task底层有一个TaskScheduler，它决定了task该如何被调度，而 在.net framework中有两种系统定义Scheduler，第一个是Task默认的ThreadPoolTaskScheduler ...
分类：
其他好文 时间：
2017-05-12 17:30:46
阅读次数：
230
9-1 分布式爬虫要点 1.分布式的优点 充分利用多机器的宽带加速爬取 充分利用多机的IP加速爬取速度 问：为什么scrapy不支持分布式？ 答：在scrapy中scheduler是运行在队列的，而队列是在单机内存中的，服务器上爬虫是无法利用内存的队列做任何处理，所以scrapy不支持分布式。 2. ...
分类：
其他好文 时间：
2017-05-12 00:01:36
阅读次数：
399
背景yarn默认使用的是最简单的FIFO调度器，即一个default队列，所有用户共享，分配资源也是先到先得，没有优先级之分。有时一两个任务就把资源全占了，其他任务吃不到资源造成饥饿，显然这样的资源分配是不合理的（在当今社会主义之中，我们要共同富裕啊）。yarn还有两种资源调..
分类：
其他好文 时间：
2017-05-08 14:28:13
阅读次数：
256
今天抽空主要看了一下mysql线程池（cached threads）的实现原理，总体并不那么复杂，也学到了一些设计原理，值得记录一下。为了简化代码，让思路更清晰，我删去了不少错误处理，线程同步锁的代码，mysql中大量使用全局变量，这些都需要锁了控制访问。 先大致说一下几个关键的东西： 1、List ...
分类：
数据库 时间：
2017-05-08 01:17:12
阅读次数：
307
背景yarn默认使用的是最简单的FIFO调度器，即一个default队列，所有用户共享，分配资源也是先到先得，没有优先级之分。有时一两个任务就把资源全占了，其他任务吃不到资源造成饥饿，显然这样的资源分配是不合理的（在当今社会主义之中，我们要共同富裕啊）。yarn还有两种资源调..
分类：
其他好文 时间：
2017-05-06 10:33:31
阅读次数：
215
stage划分算法总结最后一个RDD创建finalstagefinalstage倒推通过宽依赖，来进行新的stage划分使用递归，依次提交stage，从父stage开始源码org.apache.spark.scheduler包下stage划分算法由submitStage和getMissingParentStages方法组成第一步：使用触发job的最后一个RDD，创建fi..
分类：
编程语言 时间：
2017-05-05 23:05:37
阅读次数：
219
SHOW VARIABLES LIKE 'event_scheduler';#查看定时器是否开启 SET GLOBAL event_scheduler = 1; # 开启定时器 DROP EVENTIF EXISTS activity_time_update; CREATE EVENT activi ...
分类：
数据库 时间：
2017-05-05 14:16:42
阅读次数：
257
本节重点介绍 nova-scheduler 的调度机制和实现方法：即解决如何选择在哪个计算节点上启动 instance 的问题。 创建 Instance 时，用户会提出资源需求，例如 CPU、内存、磁盘各需要多少。 OpenStack 将这些需求定义在 flavor 中，用户只需要指定用哪个 fla ...
分类：
其他好文 时间：
2017-05-05 10:39:57
阅读次数：
169
