之前在用Hadoop写ML算法的时候就隐约感觉Hadoop实在是不适合ML这些比较复杂的算法。记得当时写完kmeans后,发现每个job完成后都需要将结果放在HDFS中,然后下次迭代的时候再从文件中读取,对于kmeans这种高迭代的算法,感觉Hadoop的瓶颈会出现在IO上,后来又写了个Naiveb...
分类:
其他好文 时间:
2015-06-18 19:03:50
阅读次数:
143
tbschedule项目其实可以分为两部分:
schedule管理控制台。负责控制、监控任务执行状态
实际执行job的客户端机器。
在实际使用时,首先要启动zookeeper, 然后部署tbschedule web界面的管理控制台,最后启动实际执行job的客户机器。这里zookeeper并不实际控制任务调度,它只是负责与N台执行job的客户端通讯,协调、管理、监控这些机器的运行信息。实际分配任务的是...
分类:
其他好文 时间:
2015-06-17 18:18:03
阅读次数:
27762
oracle库中的一个job,正常运行了一年多,因某种原因导致无法运行,系统尝试多次均失败之后下次执行时间就变成了 4000/1/1。现导致job失败的问题已经解决,从新运行job时报 12011和06512错误。ERRORat line 1:ORA-12011: execution of 1 jo...
分类:
其他好文 时间:
2015-06-17 15:11:31
阅读次数:
262
Financial Management Time Limit:?1000MS Memory Limit:?10000K Total Submissions:?164661 Accepted:?61136 Description Larry graduated this year and finally has a job. He‘s making a lot of money, ...
分类:
其他好文 时间:
2015-06-17 07:11:34
阅读次数:
96
Problem DescriptionLarry graduated this year and finally has a job. He’s making a lot of money, but somehow never seems to have enough. Larry has deci...
分类:
其他好文 时间:
2015-06-16 22:42:10
阅读次数:
173
整理下,基本分两个方式: 一、对于大量大文件(大于block块设置的大小) 增大minSize,即增大mapred.min.split.size的值,原因:splitsize=max(minisize,min(maxsize,blocksize)),blocksize一般不会做修改. ...
分类:
其他好文 时间:
2015-06-16 19:01:06
阅读次数:
158
最近使用到Quartz框架来做定时推送数据的功能的调度(注:在Java可以使用java.util.Timer和实现java.util.TimerTask接口的类做定时任务功能)。本文主要从大的框架方面介绍Quartz的基本使用和Quartz对用户提供的扩展点JobListener等监听接口。通常对于作业调度我们关注这三个方..
分类:
其他好文 时间:
2015-06-16 14:53:49
阅读次数:
268
Quartz 框架提供了几种用于扩展平台能力的方式。通过使用各种 "钩子" (通常指的就是扩展点),Quartz 变得很容易被扩展和定制化来适应你的需要。其中一个最简单的扩展框架的方法就是使用 Quartz 插件。本章就来看看如何使用插件机制让 Quartz 进入到之前 Quartz 用户没去过的领域。一、使用范例 下面将使用插件实现从XML得到JOB,并...
分类:
其他好文 时间:
2015-06-16 13:03:59
阅读次数:
164
插入空值
执行以下的查询:
INSERT INTO emp(empno,ename,job,sal) VALUES(1005,'杨华', 'CLERK',null);
复制数据:该形式一次可以插入多行数据。
步骤1:创建一个新表manager:
CREATE TABLE manager AS SELECT empno,ename,sal FROM emp...
分类:
数据库 时间:
2015-06-16 09:24:26
阅读次数:
158
此篇博客为quartz2.2.1第二个例子的解析,此例子主要对SimpleTrigger的使用进行详细说明,详细使用说明均在代码中以注释的形式体现。
SimpleTrigger:在某个时刻开始,然后按照某个时间间隔重复执行。
SimpleTrigger包括属性:开始时间,结束时间,重复次数,重复间隔。
SimpleJobpackage com.secbro.job;import org.quartz...
分类:
其他好文 时间:
2015-06-15 14:42:19
阅读次数:
103