OLTP:在线业务处理里系统(如银行前台,存数据,读数据跟数据库交互操作)OLAP:在线数据分析系统(只能读数据出来,不能写.如数据仓库,源数据是在OLTP上通过ETL抽取出来)操作系统块ext3为4koracle块为系统块的整数倍默认8k查看系统块大小[oracle@sq~]$getconfPAGESIZE4096查看数据库..
分类：
其他好文 时间：
2016-01-22 03:27:31
阅读次数：
213
一、Data仓库的架构 Data仓库(Data Warehouse DW)是为了便于多维分析和多角度展现而将Data按特定的模式进行存储所建立起来的关系型Datcbase，它的Data基于OLTP源Systam。Data仓库中的Data是细节的、集成的、面向主题的，以OLAPSystam的分析需求....
分类：
其他好文 时间：
2016-01-15 14:20:17
阅读次数：
148
编程逻辑 该文章写在五年大学半年工作之后，大学专业为工商管理+软件工程，职业为BI ETL开发。从进大学的第一天开始，便评估好风险，从客观和直觉上去理解计算机。工商管理专业以会计学财务学为重要，除此之外，其他课程以多听少练为主要手段。计算机以多看为主要手段，涉猎众多书籍之后才有所感悟，本身喜欢凭直....
分类：
其他好文 时间：
2016-01-10 18:28:29
阅读次数：
135
Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与...
分类：
Web程序 时间：
2016-01-05 18:17:48
阅读次数：
300
QueryInfo info = new QueryInfo(); info.CustomSQL = @" select column_name, data_type, data_precision, data_scale, ...
分类：
其他好文 时间：
2016-01-04 23:59:28
阅读次数：
441
文本数据格式ip2int函数用于IP地址转化为整数int2ip函数用于整数转化为IP地址insert_row函数用于插入数据库记录from__future__importprint_function
importtorndb
defget_mysql_conn():
returntorndb.Connection(
host=mysql["host"]+":"+mysql["port"],
database=mysql["dat..
分类：
数据库 时间：
2015-12-22 06:33:14
阅读次数：
234
最近在优化公司的数据仓库项目中ETL部分，发现有一处明显可以改进的地方，发出来和大家分享一下。在数据仓库中一个一个超级大维度表（1亿左右的记录），更新这个维度表的时候，采取的策略是最简单的1类渐变维度，即存在则更新，不存在则插入。原先的方式是在ETL过程中先查找这个大表本身，如果存在就打上updat...
分类：
其他好文 时间：
2015-12-07 15:56:36
阅读次数：
119
What steps do you take to determine the bottleneck of a slow running ETL process?如果ETL进程运行较慢，需要分哪几步去找到ETL系统的瓶颈问题。答：ETL系统遇到性能问题，运行很慢是一件较常见的事情，这时要做的是逐步找...
分类：
其他好文 时间：
2015-12-07 15:50:17
阅读次数：
131
二、ETL测试过程：在独立验证与确认下，与任何其他测试一样，ETL也经历同样的阶段。1）业务和需求分析并验证。2）测试方案编写3）从所有可用的输入条件来设计测试用例和测试场景进行测试4）执行所有用例直到满足退出标准5）书写总结报告和测试过程结束。三、ETL测试的规则：测试数据的正确性、一致性、完整性...
分类：
其他好文 时间：
2015-12-07 14:04:18
阅读次数：
202
