先抛出几个问题 1. 存储是不是基石？ 2. 假如存储不挂，数据真的准确吗？ 3. 存储挂了，数据还准确吗？ 4. 如何校验是否正确？如何让其正确？机制是不是必须有？ 注：sqoop抽数据，无error丢数据的概率很小 数据质量校验：数据量校验 count相同吗？count相同内容相同吗？ 数据量相 ...
分类：
其他好文 时间：
2019-11-30 09:43:00
阅读次数：
82
ETL讲解ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好 ...
分类：
其他好文 时间：
2019-11-29 11:09:14
阅读次数：
73
何为数据服务？ 通俗来讲就是数据中台在落地实施过程中的一个对外输出数据的环节，将数据服务化后提供给业务系统，将数据生产为一个个数据API，以更高效的方式提供给业务。 传统业务开发的痛点 数据主要存在于关系型数据库、数据仓库中，而在传统业务开发使用数据的过程中会遇到如下痛点： 一、查询数据成本高 1、 ...
分类：
其他好文 时间：
2019-11-29 11:03:38
阅读次数：
69
1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ ...
分类：
其他好文 时间：
2019-11-28 13:20:10
阅读次数：
89
一、离线安装包 文件准备 这里以mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz为例，记一次MySQL 5.6.x 的生产环境离线部署过程。使用SecureCRT连接生产部署的机器，这里注意使用root用户进行操作。 mysql-5.6.23-linux-glibc ...
分类：
数据库 时间：
2019-11-25 23:17:03
阅读次数：
74
下载&启动 官网上下载安装包，执行下列命令即启动完成。 效果图 参考文档 "Flink官方文档" "Flink 实时数仓的应用" "Apache Flink 零基础入门（一&二）：基础概念解析" "企业级数据仓库" ...
分类：
其他好文 时间：
2019-11-25 18:26:07
阅读次数：
189
1、在线安装mysql服务 #下载安装mysql yum install mysql mysql-server mysql-devel #启动mysql服务 cd /etc/ init.d/mysqld start #mysql连接并登录 mysql #修改登录mysql用户名及密码 USE mys ...
分类：
其他好文 时间：
2019-11-25 13:42:41
阅读次数：
72
1. [root@localhost ~]# 的含义 ？ 【登录的用户 机器的名称 家目录】 2. 查看当前光标所在的目录 pwd [root@localhost ~]# pwd /root 3. 切换目录 cd [root@localhost ~]# cd /home [root@localhos ...
分类：
系统相关 时间：
2019-11-22 00:45:22
阅读次数：
87
来自案例学习 数据仓库经过ETL成功创建之后，就可以对数据仓库进行多维分析任务。 任务主要分为： 1、设置数据源，并添加分析时所需表到数据视图。 2、创建并设置维度。 3、设置时间维。 4、设置度量属性，创建维度用法 5、数据部署及展现 * 以下使用SQL Server Integration Se ...
分类：
其他好文 时间：
2019-11-21 19:59:27
阅读次数：
177
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但 ...
分类：
数据库 时间：
2019-11-20 21:30:21
阅读次数：
100
