云智慧（北京）科技有限公司陈鑫场景一个调度器，两个调度任务，分别处理两个目录下的txt文件，某个调度任务应对某些复杂问题的时候会持续特别长的时间，甚至有一直阻塞的可能。我们需要一个manager来管理这些task，当这个task的上一次执行时间距离现在超过5个调度周期的时候，..
分类：
编程语言 时间：
2015-07-08 14:54:45
阅读次数：
171
云智慧（北京）科技有限公司 陈鑫
场景
一个调度器，两个调度任务，分别处理两个目录下的txt文件，某个调度任务应对某些复杂问题的时候会持续特别长的时间，甚至有一直阻塞的可能。我们需要一个manager来管理这些task，当这个task的上一次执行时间距离现在超过5个调度周期的时候，就直接停掉这个线程，然后再重启它，保证两个目标目录下没有待处理的txt文件堆积。问题
直接使用java默认的线程...
分类：
编程语言 时间：
2015-07-08 11:00:51
阅读次数：
241
GCD Grand Central Dispatch — — 伟大的中央调度器核心: 将”任务” 放入” 队列”中,确定是同步执行还是异步执行任务: 想要做的事情/ 执行什么操作/执行什么代码.GCD中任务定义在block中队列(FIFO): 用来存放任务队列 != 线程队列中的任务最后都要由线.....
分类：
其他好文 时间：
2015-07-06 21:28:18
阅读次数：
99
多线程这块有个非常重要且经典的图例，可以很好的帮助我们理解多线程，搭配API文档，应该可以轻松搞定多线程了。如图，调用线程的start方法后，线程进入可运行状态，经过系统调度器决定是否运行，而且两者可以相互转换（Running->Runnable的一种情况是分配给线程的时间片用完了），图像上方是阻塞...
分类：
编程语言 时间：
2015-07-06 21:24:35
阅读次数：
114
PBS的组成服务器: pbs_server调度器: pbs_scheduler执行器: pbs_mom命令行: 用户脚本，管理命令等PBS的基本原理PBS的优缺点：符合POSIX 1003.2d 标准；支持系统级检查点功能（需底层操作系统支持）；很好的大规模扩展性，独立的调度模块；支持使用其它调度器...
分类：
其他好文 时间：
2015-07-02 19:07:16
阅读次数：
1396
Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下（注：图片来自互联网）Scrapy主要包括了以下组件：引擎，用来处理整个系统的数据流处理，触发事务。调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。下载器，用于下载网页内容，并将网页内容返回给蜘蛛。蜘...
分类：
其他好文 时间：
2015-06-29 22:11:33
阅读次数：
175
KVM虚拟机简介KVM是一个开源的系统虚拟化模块，自Linux2.6.20之后集成在Linux的各个主要发行版本中。它使用Linux自身的调度器进行管理，所以相对于Xen，其核心源码很少。KVM的虚拟化需要硬件支持（如IntelVT技术或者AMDV技术)。是基于硬件的完全虚拟化。KVM虚拟机安装与使用一..
分类：
其他好文 时间：
2015-06-27 19:59:51
阅读次数：
211
Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方...
分类：
其他好文 时间：
2015-06-26 18:14:07
阅读次数：
168
MySQL的事件调度器使用介绍 自MySQL5.1.0起，增加了一个非常有特色的功能–事件调度器(Event Scheduler)，可以用做定时执行某些特定任务，可以看作基于时间的触发器。 一、开启 事件调度默认是关闭的，开启可执行...
分类：
数据库 时间：
2015-06-25 10:39:20
阅读次数：
164
kvm全称(Kernel-basedVirtualMachine)，是一个开源的系统虚拟化模块，
自Linux2.6.20之后集成在Linux的各个主要发行版本中。它使用Linux自身的调度器进行管理，
所以相对于Xen，其核心源码很少。KVM目前已成为学术界的主流VMM之一。
KVM的虚拟化需要硬件支持（如IntelVT技术或..
分类：
系统相关 时间：
2015-06-25 10:35:54
阅读次数：
329
