在实践数据仓库的建设中，越发感受到规范的重要性，总结出以下几点。 模型设计图 ...
分类：
其他好文 时间：
2020-05-28 21:25:57
阅读次数：
60
使用库Pyhive 安装：pip install Pyhive -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com from pyhive import hive # or import hive c ...
分类：
其他好文 时间：
2020-05-27 01:04:26
阅读次数：
60
Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库 ...
分类：
其他好文 时间：
2020-05-15 13:42:59
阅读次数：
62
数据仓库设计方案 一.概述 数据仓库的特征在于面向主题、集成性、稳定性和时变性，用于支持管理决策。数据仓库的存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供统一的、规范的数据出口。数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。数仓分层的主要原因： 清晰数据 ...
分类：
其他好文 时间：
2020-05-14 15:36:27
阅读次数：
196
百度大数据实习生：（百度科技园一号楼） 2018-3-31 笔试： 1.双指针的题 2.找出字符串中第一个出现两次的字母 3.通过前中序求二叉树 4.快速排序，堆排序 5.数据库的左右连接 面试： 1.MapReduce分几步，shuffle原理 2.hive 的知识 3.数据库，数据仓库 4.代码 ...
分类：
其他好文 时间：
2020-05-14 01:50:12
阅读次数：
77
需求： 做数据仓库时,需要将业务系统CRM抽取到数据仓库的缓冲层，业务系统使用的是SqlServer数据库，数据仓库的缓冲层使用的是mysql数据库，为实现数据库的迁移，即将SqlServer数据库中的所有表与数据迁移到Mysql。 解决办法一：利用kettle的复制多表复制向导 过程如下: 1、选 ...
分类：
数据库 时间：
2020-05-09 19:11:54
阅读次数：
156
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
命名规则： 数仓层级 + 主题 + 表名 数仓主题： dqm 数据质量管理 tb 数据基本信息 sii 脚本信息 bir bi报表信息 bs 业务信息 ...
分类：
其他好文 时间：
2020-05-07 18:11:13
阅读次数：
53
技术中台：通用的技术专门团队负责 避免重复造轮子，核心节约成本数据中台：基本的数据采集、数据仓库建立和数据分析能力的共享，其实是数据技术中台的范畴，是将做数据相关工作的技术团队整合，来支持各业务。如统一进件业务中台：各业务线的数据打通、数据共享和协同运用，则属于业务中台。如：资金路由，额度，风控，金 ...
分类：
其他好文 时间：
2020-05-07 16:58:45
阅读次数：
74
