四种BI 开源工具介绍-SpagoBI,openI,JasperSoft,Pentaho1 BI系统的简述从技术角度来说 BI 包含了 ETL、DW、OLAP、DM等多环节。简单的说就是把交易系统已经发生过的数据，通过ETL工具抽取到主题明确的数据仓库中，OLAP后生成Cube或报表，透过Porta...
分类：
Web程序 时间：
2015-06-02 17:19:14
阅读次数：
319
DB、ETL、DW、OLAP、DM、BI关系结构图在此大概用口水话简单叙述一下他们几个概念：（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就...
分类：
数据库 时间：
2015-05-29 17:47:42
阅读次数：
177
书接上文，考虑4个核心功能的实现，先考虑：数据预处理和按纬度统计。1、数据预处理1.1、基本原则首先，考虑数据的格式。业务数据是保存在关系型数据库中的。数据分析的部分，我们将使用Weka，虽然Weka习惯ARFF格式，为了实现数据分析和提取的自动化，我们将通过Weka的JDBC接口为其提供数据。这样，可以使用ETL工具或者通过程序代码执行SQL实现数据提取和格式转换。
在开发阶段，我们基本上可以将...
分类：
其他好文 时间：
2015-05-29 08:40:35
阅读次数：
183
原创作品，出自 “深蓝的blog” 博客，欢迎转载，转载时请务必注明出处，否则追究版权法律责任。
深蓝的blog：
【目标】
利用kettle中的资源库功能，把ktr文件统一存储到数据库中，方便本地进行版本管理
ktr：使用kettle编辑的转换，被称为ktr；
转换：添加功能模块，实现ETL的项目称为转换。
一路确定后，点击ok完成资源库的...
分类：
数据库 时间：
2015-05-28 09:29:28
阅读次数：
265
ods平台的一个很简单的数据共享需求：运营商的某个部门每天定时送gz格式的HLR文本数据到FTP服务器的固定目录下。然后ods每天定时去取然后录入到RDBMS的表中 看，开放给其他系统查询调用，这种称作数据库表接口。...
分类：
其他好文 时间：
2015-05-16 21:54:30
阅读次数：
275
变更数据捕获（Change Data Capture ，简称 CDC）记录 SQL Server 表的插入、更新和删除活动。使用变更数据捕获可以更有效跟踪表对象DML历史操作，对 ETL 等数据转移也非常有用。
变更数据捕获适用版本：
SQL Server 2008 以上的 Enterprise Edition、Developer Edition 和 Evaluation Editio...
分类：
数据库 时间：
2015-05-16 06:51:18
阅读次数：
430
1. Kettle
1.1.
简介
Kettle是一款国外开源的etl工具，纯java编写，数据抽取高效稳定（数据迁移工具）。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
2. 集成开发
2.1.
transf...
分类：
其他好文 时间：
2015-05-14 18:46:24
阅读次数：
177
另存为txt格式：Sheets(1).ActivateActiveWorkbook.SaveAs Filename:="E:\etl_folder\", FileFormat:=xlTextMSDOS选择Personal Macro WorkBook 可以应用于所有excel
分类：
编程语言 时间：
2015-05-12 15:10:19
阅读次数：
183
