（马蜂窝技术原创内容，公众号ID：mfwtech） 一、马蜂窝数据仓库与数据中台 最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。 数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。 我认为数据中台的概念非常接近传统数 ...
分类：
其他好文 时间：
2019-10-08 12:40:53
阅读次数：
117
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 HQL 转换 MR 流程： Hive 处理的数据存储在 ...
分类：
其他好文 时间：
2019-10-04 22:31:39
阅读次数：
120
1. Hive是什么 1.1 hive的概念 Hive：由Facebook开源，用于解决海量（结构化日志）的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将Hive SQL转化成MapReduce程序 1.2 Hive ...
分类：
其他好文 时间：
2019-10-03 10:44:59
阅读次数：
112
1. 数据仓库基本介绍 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数 ...
分类：
其他好文 时间：
2019-10-03 10:18:58
阅读次数：
110
Amazon Cognito 流让开发人员能够控制和了解他们存储在 Amazon Cognito 中的数据。开发人员现在可以配置 Kinesis 流，以便在数据更新和同步时接收事件。Amazon Cognito 可以实时向您拥有的 Kinesis 流推送每个数据集更改。 使用 Amazon Cogn ...
分类：
其他好文 时间：
2019-10-02 20:36:39
阅读次数：
78
项目管理，REID，矩阵，终端，镜像，Voip，AVB，串口，串口服务器，数据库，数据仓库，码流，心跳包，名词解释 项目管理： 项目管理是管理学的一个分支学科 ，对项目管理的定义是:指在项目活动中运用专门的知识、技能、工具和方法，使项目能够在有限资源限定条件下，实现或超过设定的需求和期望的过程。项目 ...
分类：
数据库 时间：
2019-10-01 20:41:54
阅读次数：
90
从三个点来说： 1）提供服务的对象 2）业务域 3）层次的划分 1）提供服务的对象 a、数据仓库的服务对象基本上是人。明细数据，聚合指标，转化率模型， 他们的目前用户都是人 b、数据中台的服务对象变成 人+机器。 用户标签、机器学习模型，数据挖掘模型，他们的目标是系统。比如说广告系统，推荐系统，风控 ...
分类：
其他好文 时间：
2019-09-29 18:15:16
阅读次数：
106
ETL概述 ETL（Extraction-Transformation-Loading）是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。 数据治理流程 数据挖 ...
分类：
其他好文 时间：
2019-09-27 19:00:02
阅读次数：
117
“大数据”作为时下最火热的IT行业的词汇，随之数据仓库、数据安全、数据分析、数据挖掘等等围绕大数量的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。大数据有多大，一直没有清晰的概念，故此简单的科普研究，分享至此： 下面先按顺序给出所有单位：Byte、KB、MB、GB、TB、PB、EB、ZB、YB、 ...
分类：
其他好文 时间：
2019-09-25 12:25:40
阅读次数：
82
数据分析与挖掘行业火爆，人才稀缺。本教程基于Python3全程以真实案例驱动，带你科学系统地学习数据分析与挖掘建模领域的科学思维、必会知识、常用工具、完整流程，让你快速胜任数据分析师岗位，逆袭成为数据掘金时代的抢手人才! 1 数据分析流程狭义数据分析：A 数据获取 -> B 探索分析与可视化数据分析 ...
分类：
编程语言 时间：
2019-09-25 12:20:16
阅读次数：
99
