一、环境及软件安装环境:安装目录: /usr/local/ae/ankabanHadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1azkaban-executor-2.5.0安装目录:/usr/local/ae/azkaban/azkab...
分类:
其他好文 时间:
2014-07-16 19:08:09
阅读次数:
2894
最近在看《算法导论》,看到多线程算法这章中,有一个parallelfor循环的例子,如下:parallelfori=1tonparallelforj=1toncij=0fork=1toncij=cij+aik+bkj书上说的时间复杂度为O(lgn)+O(lgn)+O(n)=O(n);也就是说一个pa...
分类:
其他好文 时间:
2014-07-16 18:18:16
阅读次数:
181
public List getSplits(JobContext job) throws IOException { long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); long ...
分类:
其他好文 时间:
2014-07-16 00:19:43
阅读次数:
324
B - Symmetric Order(3.3.1)
Time Limit:1000MS Memory Limit:30000KB 64bit IO Format:%I64d
& %I64u
Submit Status
Description
In your job at Albatross Circus Management (yes, it'...
分类:
其他好文 时间:
2014-07-15 22:43:34
阅读次数:
318
Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个,百个,甚至是好几万个Jobs这样复杂的日程序表。Jobs可以做成标准的Java组件或 EJBs。Quart...
分类:
Web程序 时间:
2014-07-14 21:57:58
阅读次数:
274
最近由于项目的需要,初步涉及到了Kettle的使用,现在将这两周自己使用kettle开发JOB的心得整理一下,与大家一起分享。 一、kettle是什么 Kettle是个ETL工具,主要用来管理不同数据来源的数据,按照一定的方式流出来,最常用的情况,不同系统之间数据的传递,可以使用kettle制作转换...
分类:
其他好文 时间:
2014-07-14 20:58:41
阅读次数:
411
一、Mysql5.6新特性....复制功能的改进⒈支持多线程复制,(slave-parallel-workers=00:表示禁用多线程功能;)事实上是针对每个database开启相应的独立线程。即每个库有一个单独的(sqlthread),如果线上业务中,只有一个database或者绝大多数压力集中在个别database的话,多线..
分类:
数据库 时间:
2014-07-14 12:30:47
阅读次数:
444
这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的,是一种保护机制。解决方案是,关闭该功能,使用——-XX:-UseGCOverheadLimitSun官方解释:The parallel / concurrent collector will throw anOutOf...
分类:
其他好文 时间:
2014-07-14 10:32:09
阅读次数:
213
1.Async介绍
sync是一个流程控制工具包,提供了直接而强大的异步功能。基于Javascript为Node.js设计,同时也可以直接在浏览器中使用。
Async提供了大约20个函数,包括常用的 map, reduce, filter, forEach 等,异步流程控制模式包括,串行(series),并行(parallel),瀑布(waterfall)等。
项目地址:ht...
分类:
Web程序 时间:
2014-07-12 20:45:21
阅读次数:
237
怎么样kill 一个被挂起的自动物化视图刷新job?...
分类:
其他好文 时间:
2014-07-12 16:36:20
阅读次数:
136