debug一个并行程序（parallel
program）向来是件很麻烦的事情（Erlang等functional programming language另当别论），对于像MPI这种非shared
memory的inter-process model来说尤其如此。与调试并行程序相关的工具非开源工具...
分类：
其他好文 时间：
2014-06-29 14:20:46
阅读次数：
367
组件如下：对计算类型的说明如下：The table below contains
descriptions associated with the calculator step:FunctionDescriptionRequired
fieldsSet field to constant ACre...
分类：
其他好文 时间：
2014-05-28 04:19:05
阅读次数：
1256
组件：值映射如下如所示：首先，给出官方给出的文档：个人理解：Target field
name：可以理解为将source column的字段复制为另一个target column的名字。Default upon
non-matching：就是将target column的所有值（除去null），都替...
分类：
其他好文 时间：
2014-05-27 16:28:38
阅读次数：
767
最近使用hive做一些etl工作，除了日常sql的编写，了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要，一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令：（hadoop
fs -help列出全部）1，hadoop fs –fs [local | ]：声...
分类：
其他好文 时间：
2014-05-26 20:44:49
阅读次数：
308
今天准备在 @zhangkai05
写的小工具model_sql基础上，进一步完善功能，使其更加自动化。方便建模人员开发etl任务。源代码更改后 ，会发布到
git（url地址）上，逐步完善。描述现状及问题团队 数据仓库建模在2013年下开始使用 oracle sql developser data...
分类：
数据库 时间：
2014-05-20 08:08:37
阅读次数：
643
IT项目管理工具总结俗话说"工欲善其事必先利其器",在一个项目开发流程中，如果搭配一个比较完善的项目管理工具，必将取得事半功倍的效果。本文搜集了目前项目管理界比较有规模的管理工具，给予了简单介绍，同时为了发扬免费开源的精神，重点总结了免费开源工具Dotproject和Redmine。一：完善的项目管...
分类：
其他好文 时间：
2014-05-16 07:46:19
阅读次数：
349
最近在整理之前的同步的kettle代码，现把之前的kettle同步的思路记录在此。
1.同步流程图，下图是同步的整个流程图
2.外部的数据表，根据业务逻辑更新到服务器端的业务表，下图是其中的一个示例图：
这个的思路是：获取最新需同步的数据、分别查出药品分类ID、药品分类与分类关联ID以及药品ID（不存在，则生成新的UUID）、查询数据库中药品分类ID的记录数是否存在（即是否不...
分类：
其他好文 时间：
2014-05-15 09:02:58
阅读次数：
415
数据库同步的方式有设置标志位同步方式、以时间戳同步的方式，对于一对一的同步这两种方式都满足，但是对于一对多的同步，则只能选择时间戳的同步方式了，但是已时间戳同步的方式的一个问题是如何可靠的保证数据可以不丢失的同步到数据库中。下面有两种方式来保证以时间戳同步的可靠性。
1、计算服务器与客户端两台电脑的时间差，将该时间差记入在同步时间的比对当中，下图是使用kettle做的一个计算同步的时间差的思路：...
分类：
其他好文 时间：
2014-05-15 08:02:56
阅读次数：
460
今天在设置kettle的界面时，想看看中文是什么样子的，于是就把如图的地方都改成了中文重启后，kettle启不来了一直报错java.lang.ArrayIndexOutOfBoundsException:5
atorg.pentaho.di.ui.spoon.dialog.TipsDialog.getTip(TipsDialog.java:191)
atorg.pentaho.di.ui.spoon.dialog..
分类：
其他好文 时间：
2014-05-13 01:53:37
阅读次数：
625
关于如何用kettle创建job以及如何部署kettle到linux上，我就不细说了，大家应该都会，下面重点说一下，如何让job执行起来先将创建好的脚本上传到kettle指定目录下面，创建调用job执行的脚本文件，exportJAVA_HOME=/usr/java/jre1.6.0_23
exportPATH=$JAVA_HOME/bin:$PATH
expor..
分类：
系统相关 时间：
2014-05-09 21:25:51
阅读次数：
521
