在数据管理领域，我们一直致力于让数据为我们提供价值，为此我们付出大量的努力和投入。在过去二十年，各大企业都在着手搭建数据仓库。当我们费尽艰辛搭建好数据仓库并成功用于线上运行时，发现我们将花费更多时间为数据科学家、分析师做数据准备。分析他们的数据需求，提供闪闪发光的数据报表。这将占用数据维护人员80%的时间投入，这个投入是偏高的，包含如沟通、反查、校正等大量重复和不必要投入。如何提升数据管理能力？我
分类：
其他好文 时间：
2020-09-23 23:53:26
阅读次数：
38
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。HiveSQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在Hive和MySQL中输出结果的会有所不同
分类：
数据库 时间：
2020-09-17 23:41:17
阅读次数：
49
实验包括：创建一个AmazonRedshift集群通过SQL客户端连接AmazonRedshift加载S3的数据到AmazonRedshift查询AmazonRedshift中的数据监控AmazonRedshift的性能Task1：创建一个AmazonRedshift集群Nodes为2个下拉到Databaseconfiguration中：Databasename：labMasterusername
分类：
其他好文 时间：
2020-09-17 22:02:32
阅读次数：
27
?很多人觉得，Excel表格和BI技术差不多，都是用来做数据分析的。其实不然。BI进行数据分析过程的第一步，是数据收集。现在的BI系统可以对接很多类型的数据仓库，大大提高了效率。下一步就是找到可能影响数据质量的问题，消除错误和重复数据，这在Smartbi中可以很容易实现，建立自助数据集即可。然后构建数据分析模型，Smartbi对这一复杂过程做了极大地简化，业务人员可以通过内置的数据挖掘功能，简单拖
分类：
其他好文 时间：
2020-09-17 20:16:33
阅读次数：
25
“数据中台”这个新词最近几年炒得火热，各种解释铺天盖地，在这里无需赘述。但是，不管哪种解释，你会发现他们都强调一个观点：数据中台并不是指具体某一个产品，而是一套“机制”，解决的是“企业如何用好数据”的问题。对于有一定信息化基础和数据沉淀的企业来说，内部可能已经建设好各种分析系统。只不过这些系统是分批建设的，存在明显的“烟囱式”架构。系统之间相互独立，数据也无法打通。这种情况下通过建设数据仓库或者大
分类：
其他好文 时间：
2020-09-16 12:39:22
阅读次数：
35
数据仓库模型几大类 数据仓库中有几种经典的数据模型：范式模型、维度模型、DataVault。 很多模型的设计都在同构化，而且在工作中也不是单独地用一种模型，会根据业务场景做出各种取舍。 一、范式模型 范式模型也叫ER模型、实体模型。 范式是数据库逻辑模型设计的基本理论，一个关系模型可以从第一范式到第 ...
分类：
其他好文 时间：
2020-09-08 20:48:16
阅读次数：
40
一、UUID通过特定的算法将主机和时间印鉴结合起来得到的数值；组件对UUID的使用得到的叫做GUID；如果我们用GUID唯一的表示组件的类，又叫做CLSID如果我们用GUID唯一的表示组件的接口，又叫做IID…（typedef）GUID的产生方法：1.GUIDGEN.exe2.HRESULT CoC ...
分类：
其他好文 时间：
2020-09-03 16:55:04
阅读次数：
48
1 表的分类 1.1 实体表 实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。 用户表： 用户id 姓名 生日 性别 邮箱 用户等级 创建时间 1 张三 2011-11-11 男 zs@163.com 2 2018-11-11 2 李四 2011-11-11 女 ls@16 ...
分类：
其他好文 时间：
2020-08-28 11:48:03
阅读次数：
56
武培轩推荐搜索JavaSpringBootMySQLRedisSpring数据结构相信大家在闲暇之余都会在世界最大的同性交友平台上逛逛，每次进入个人主页的时候，首先看到的总是Popularrepositories，下面是一些Contributions热力图和活动记录，感觉千篇一律。想不想来点新花样，微软最近推出一个好玩的功能：GitHubProfile，可以来自定义个人主页的Overview。下面
分类：
其他好文 时间：
2020-08-19 19:32:20
阅读次数：
63
1. 简介：DMETL(目前的版本是4.0)是达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据集成软件，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等应用的理想工具。 同类型ETL工具有：informatic、 ...
分类：
其他好文 时间：
2020-08-15 22:27:37
阅读次数：
62
