本章分享的目录： 1：基础 第一节：简介与原理 2：设置用户及权限赋予 第二节：角色权限 3：安装 ，配置，连接 第三节：部署hive 4：参数动态设置 第四节：hive参数设置 第一节：简介与原理 简介： 数据仓库，对海量数据的离线处理（以HiveQL的形式，生成MR任务）； 核心组件： 解释器， ...
分类：
其他好文 时间：
2020-01-09 14:49:03
阅读次数：
115
美团 R 语言数据运营实战 2018年08月02日 作者: 喻灿 刘强 文章链接 3689字 8分钟阅读 一、引言 近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益 ...
分类：
编程语言 时间：
2020-01-05 11:29:38
阅读次数：
115
Hbase数据管理 Hbase就是Hadoop database Hbase是列式数据库 因此Hbase特别适合寻找按照时间排序寻找Top n的场景 Hive数据管理 基于 Hadoop 文件系统的数据仓库 Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，用来进行数据提取、转 ...
分类：
其他好文 时间：
2020-01-02 15:24:13
阅读次数：
66
转：https://www.aboutyun.com/thread-21544-1-1.html 问题导读：1.Hive 是什么? 2.Hive 架构分哪几部分？ 3.Hive 文件格式是怎样的？ 一、Hive是什么？ Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQ ...
分类：
其他好文 时间：
2019-12-31 14:28:25
阅读次数：
108
一,hive介绍 1.来源 facebook的数据仓库计算框架,后来开源给了Apache 主要做离线计算即就是不要求实时获取结果 2.数据仓库 数据库一般分为:OLAP OLTP 就是通过以往的数据分析，对现在的业务或者发展发现提供数据的支持 就是从历史数据中心发掘价值 一般有一下几种模式 星型模式 ...
分类：
其他好文 时间：
2019-12-30 14:29:22
阅读次数：
114
1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数 ...
分类：
其他好文 时间：
2019-12-27 13:08:13
阅读次数：
92
开篇语 最近12306又崩溃了一次，但其实12306这样的体量跟我们平常接触的架构基本没什么太大的关系。 话又说回来，12306也是由一个个小功能组成的。 做好自己的小蚂蚁，就能让大部队变得更快。 因为跟数据库、数据仓库、查询打交道比较多，所以我就简单说一下数据查询的优化过程吧。 不客气地说，在性能 ...
分类：
其他好文 时间：
2019-12-25 16:27:17
阅读次数：
195
1. 摘要 对于大数据而言，数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle，MySql上。到大数据时代，基于hadoop生态的大数据架构，数仓基本上都是基于hive的数仓。对于很多大数据开发者而言，特别是早期，很多开发者认为hive数仓就是和业务相关，隐射Hdfs数据文件的 ...
分类：
其他好文 时间：
2019-12-24 19:02:30
阅读次数：
109
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
SVN主从备份 两套环境：192.168.67.63（主SVN） 192.168.67.60（从SVN） 1.主环境上已经装好SVN并且存在数据仓库/home/svndata在从环境上，新建一/home/svndata_bak仓库： [root@bsdi home]# svnadmin create ...
分类：
其他好文 时间：
2019-12-19 13:10:38
阅读次数：
90
