码迷,mamicode.com
首页 >  
搜索关键字:数据抽取    ( 211个结果
应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(四、每日指标的计算中)
新使用的控件有:排序记录、列转行、过滤记录、分组、计算器、公式、javascript代码 ...
分类:其他好文   时间:2016-09-24 19:02:42    阅读次数:436
应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(三、指标计算参数输入)
在本系统中,针对计量系统的数据计算是最复杂的,其中需要采用多种转换以及公式计算,并且需要结合系统预置的一些计算参数以及每个台区的一些补充技术参数进行计算,计算的过程分为5大步骤(转换): 1、 根据系统时间获取到计量系统瞬时数据的表名(计量系统每天都会生成一个以日期命名的新表)。 2、 从系统数据库 ...
分类:其他好文   时间:2016-09-24 12:11:13    阅读次数:163
应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(一、同构数据抽取)
本案例是一个小型数据抽取分析类系统,通过抽取数据共享中心中的配网台区(一个台区一个配变)的相关数据进行整合,完成有关台区的50多个字段按照日、月、多月等维度的集中计算展示,其中有17个指标字段需要系统进行自动计算,并于每天对不同部门关注的台区指标进行超标告警 ...
分类:其他好文   时间:2016-09-24 01:54:11    阅读次数:687
ODI多库抽取到一个库操作
需要将LIMS四套系统数据抽取到数据中心,最先方案如下,以REPORTS表为例,如下对应四个模型 分别建立了四个映射与四个包,但是在进行模拟测试时,发现数据抽取有问题 用上面语句模拟生产环境下,四套系统都有数据更新,提示错误如下: 原因是这样的,因为四套系统都要同步到ODI_TAG_DC下面,而在数 ...
分类:其他好文   时间:2016-09-18 10:18:03    阅读次数:520
S1/C#语言和数据库技术基础/09-数据查询基础
查询的机制: 查询是针对表中已经存在的数据行而言的,可以简单地理解为“筛选”,将符合条件的数据抽取出来。 数据表在接受查询请求的时候,可以简单的理解为“他将逐行判断”,判断是否符合查询条件,如果符合查询条件就提取出来,然后把所有选中的行组织在一起,形成另外一个类似于表的结构,构成查询的结果,通常叫做 ...
分类:数据库   时间:2016-09-17 21:55:38    阅读次数:207
大数据相关技术说明(一)
1.什么是ETL? ETL,Extraction-Transformation-Loading的缩写,中文名为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础 ...
分类:其他好文   时间:2016-09-11 01:35:49    阅读次数:452
ETL简介
1、ETL的定义 ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“抽取”、“转换”、“装载”,但我们日常往往简称其为数据抽取。 ETL是BI/DW(商务智能/数据仓库)的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数 ...
分类:其他好文   时间:2016-09-10 16:20:34    阅读次数:181
kettle
Kettle(中文名称叫水壶)是一款ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。Kettle家族包括4个产品:Spoon、Pan、CHEF、Kitchen。Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里, ...
分类:其他好文   时间:2016-09-02 10:00:03    阅读次数:150
c# 中模拟一个模式匹配及匹配值抽取
摘一段模式的说明, F#的: msdn是这么描述它的:“模式”是用于转换输入数据的规则。模式将在整个 F# 语言中使用,采用多种方式将数据与一个或多个逻辑结构进行比较、将数据分解为各个构成部分,或从数据中提取信息。 模式匹配自有其定义,同时也有很多种类,这里针对相对复杂的【结构比较】和【数据抽取】进 ...
分类:Windows程序   时间:2016-08-27 14:08:16    阅读次数:236
INFORMATICA 的调优之一 源数据的优化
5W1H法来实现源数据的优化 做数据仓库项目的朋友都能感到数据质量和数据抽取展现的性能是整个数据仓库项目的重点。下面谈谈我在DW项目中处理源数据质量问题的5W1H方法。 5W : WHO ,WHAT,WHY,WHEN,WHERE WHO:(谁来对源数据负责) ETL抽取的数据各种各样,有些是按业务, ...
分类:其他好文   时间:2016-08-24 17:14:42    阅读次数:144
211条   上一页 1 ... 12 13 14 15 16 ... 22 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!