由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的E ...
分类：
其他好文 时间：
2016-05-31 15:38:16
阅读次数：
759
作者：Grey 原文地址： http://www.cnblogs.com/greyzeng/p/5524614.html 需求： 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表（Oracle）：table1 目标表（MySQL）：table2 数据量：20,000,000 思 ...
分类：
其他好文 时间：
2016-05-24 20:51:39
阅读次数：
238
kettle使用命令行来运行ktr和kjb 1：cmd方式运行 1.ktr的运行：运行transformation文件是通过Pan.bat来运行的。 打开cmd命令行窗口，转到Pan.bat所在的目录，如d:\data-integration,然后执行文件的命令为：pan /file D:\etlt ...
分类：
其他好文 时间：
2016-05-20 11:30:11
阅读次数：
134
今天遇到了一个问题：不同的数据库之间需要用全连接，于是毫不犹豫的Merge Join插件，但是在使用的过程中遇到了很多问题。 解决方法：把需要关联的字段改为不相同的名字。 2. 获取的数据不是我们想要的数据： 例如： A表： 1 a 2 b B表： 1 的 3 地方 全连接预想效果： 1 a 的 2 ...
分类：
其他好文 时间：
2016-05-19 19:18:55
阅读次数：
1277
创建java脚本 环境配置： 安装jdk（lr11最高支持java1.6） 配置环境变量 在lr选择java Vuser协议 脚本结构： 一般在init中编写初始化脚本，在action中编写业务流程，在end编写释放资源的内容 适用范围： 1.适合录制的业务功能点性能测试，如视频播放，http文件下 ...
分类：
其他好文 时间：
2016-05-18 12:34:15
阅读次数：
464
一、JSP:JAVA SERVER PAGE 【.class】 HTML中★嵌入★Java脚本代码 由应用服务器中的JSP引擎编译和执行嵌入的Java脚本代码 将生成的整个页面信息返回给客户端 注意：1.业务逻辑不写在JSP 2.数据层，界面类 二、JSP（Java Server Page）HTML ...
分类：
Web程序 时间：
2016-05-10 23:20:10
阅读次数：
189
一：什么是NLPIR？ NLPIR汉语分词系统(自然语言处理与信息检索共享平台),主要功能包括中文分词；词性标注；命名实体识别；用户词典功能；支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取；张华平博士先后倾力打造十余年，内核升级10次。 全球用户突破20万，先后获得了 ...
分类：
其他好文 时间：
2016-05-09 15:50:35
阅读次数：
170
loadrunner不知道为啥会有这么大的体积。 一开始用的是c脚本，可是恶心的是又不是完全的c，读文件的fseek居然没有。 后来又折腾java脚本，发现loadrunner11 java要用jdk 1.6而且是32位的才行，终于开工了。 语法是完全的java这点好。 先导入loadrunner自 ...
分类：
其他好文 时间：
2016-05-06 14:44:01
阅读次数：
211
ETL工具断断续续的也接触了 Informatica，Kettle, SSIS，个人感觉Info很强大但是也很贵，而且有着一些神秘感。Kettle 4.0版本以来已经有了User defined java class组件，使用户可以写Java代码 让kettle来调用，这就说明了很多kettle不能 ...
分类：
编程语言 时间：
2016-05-04 15:46:47
阅读次数：
890
kettle（pentaho data integration），是一款开源的C/S版的ETL工具，最近打算学习一下kettle源码，并自己写一个mini kettle，并改造成基于事件触发的流处理模型，前端欲支持桌面版和Web版。 首先，首要的工作是将kettle工程构建起来，达到能边跑看调试来观 ...
分类：
其他好文 时间：
2016-05-02 00:34:52
阅读次数：
236
