原文：点击这里 数据仓库元数据管理 一、元数据的定义 元数据（metadata） 即数据的数据，是描述数据仓库结构和数据仓库建立方法的数据，主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。一般会通过元数据资料库（Metadata Repository） ...
分类：
其他好文 时间：
2019-03-11 13:38:01
阅读次数：
205
简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素 ...
分类：
数据库 时间：
2019-03-07 15:53:30
阅读次数：
186
数据模型：抽象描述现实世界的一种工具和方法，通过抽象的实体及实体之间联系的形式，来表示现实世界中事务的相互关系的一种映射。在这里，数据模型表现的抽象的是实体和实体之间的关系，通过对实体和实体之间关系的定义和描述，来表达实际的业务中具体的业务关系。.数据仓库模型：数据模型中针对特定的数据仓库应用系统的一种特定的数据模型，一般而言，数据仓库模型分为以下几个层次。1)业务建模，生成业务模型，主要解决业务
分类：
其他好文 时间：
2019-03-06 17:52:44
阅读次数：
289
启动hiveserver2服务之后使用beeline链接报一下错误beeline>!connectjdbc:hive2://localhost:10000Connectingtojdbc:hive2://localhost:10000Enterusernameforjdbc:hive2://localhost:10000:hadoopEnterpasswordforjdbc:hive2://
分类：
其他好文 时间：
2019-03-01 23:26:41
阅读次数：
396
"一、Hive概念" "二、为什么要是用Hive" "三、Hive优缺点" "四、hive架构" 一、Hive概念 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的,是建立在Hadoop上的数据仓库基础架构。作为Hadoopd的一个数据仓库的工具， ...
分类：
其他好文 时间：
2019-02-28 00:58:01
阅读次数：
134
传统商业智能与现代商业智能的核心区别是什么？商业智能（BusinessIntelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。传统BI主要特征是IT人员驱动的，一般都比较重，业务用户难于使用，现代商业智能是由业务人员驱动的，业务人员直接使用，比较敏捷，因此也称作敏捷BI。说白了，传统BI只能作为报表来
分类：
其他好文 时间：
2019-02-26 19:16:16
阅读次数：
235
一.数据仓库概念 将多数据源中的数据整合一起，进行数据分析，此时数据仓库对多种业务数据进行筛选和整合，可以用于数据分析、数据挖掘、数据报表。时效性T+1. 二.数据仓库的特点 主题性：数据仓库是针对某个主题来进行组织，比如滴滴出行，司机行为分析就是一个主题，所以可以将多种不同的数据源进行整合。而传统 ...
分类：
其他好文 时间：
2019-02-23 10:47:33
阅读次数：
173
内存与指针 1、 内存是什么？ 从硬件形态上说，内存就是一条形物理设备，从功能上讲，内存是一个数据仓库，程序内在执行前都要被装载到内存中，才能被中央处理器执行。 内存是由按顺序编号的一系列存储单元组成的，在内存中，每个存储单元都由唯一的地址，通过地址可以方便地在内存单元中存储信息。 在计算机中，一切 ...
分类：
其他好文 时间：
2019-02-21 17:25:00
阅读次数：
181
Sqoop: 1、sqoop从数据库中导入数据到HDFS 2、SQOOP从数据库导入数据到hive 3、sqoop从hive中将数据导出到数据库 sqoop底层还是执行的mapreduce程序，，但是特殊的地方只有map TASK 可以实现：企业级数据仓库、文档型系统、关系型数据库<--> sqoo ...
分类：
其他好文 时间：
2019-02-21 12:27:51
阅读次数：
301
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
