1、Hive体系 1.1、Hive是什么? 由Facebook开源用于解决海量结构化日志的数据统计，后成为Apache Hive作为一个开源项目。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能； 使用HDFS存储；本质是将HQL转化成Map ...
分类：
其他好文 时间：
2018-10-02 00:51:56
阅读次数：
225
hadoop是一个分布式计算+分布式文件系统，前者其实就是MapReduce，后者是HDFS。后者可以独立运行，前者可以选择性使用，也可以不使用。 hive是一个构建在Hadoop基础设施之上的数据仓库。 hbase是一种Key/Value系统，它运行在HDFS之上，是一个分布式的、面向列的开源数据 ...
分类：
其他好文 时间：
2018-09-30 11:26:08
阅读次数：
223
原文链接：https://juejin.im/post/59c3f8f75188255be81f91d9#heading-17 Apache Hive-2.3.0 快速搭建与使用 Hive 简介 Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于 ...
分类：
数据库 时间：
2018-09-30 00:23:51
阅读次数：
334
什么是Hive 转自： https://blog.csdn.net/qingqing7/article/details/79102691 1、Hive简介 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分 ...
分类：
其他好文 时间：
2018-09-30 00:22:19
阅读次数：
241
Hive是什么1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自 ...
分类：
其他好文 时间：
2018-09-28 14:38:47
阅读次数：
193
hive数据仓库 保存了一些半结构化的数据-文本数据。元数据数据-保存到mysql/debye（默认）数据库中 数据必须要保存到hdfs上。 Hive一组类似于SQL的语句-MYSQL，当执行SQL语句 时，对应的生成MapReduce程序。 用于解决：Java程序员开发MapReduce的难点。 ...
分类：
其他好文 时间：
2018-09-26 11:41:58
阅读次数：
187
统计功能常见实现方法： （1）直接连表查询后展示（无需建表，直接查询单据的数据进行展示） 优点： a. 实现简单 缺点： a. 不适合大量数据的场景，不适合复杂查询的场景，不适合对性能要求较高的场景 b. 满足不了统计需求改变，或者未来的统计需求，即扩展是性能会大大降低 （2）使用定时任务构建数据到 ...
分类：
其他好文 时间：
2018-09-25 20:46:43
阅读次数：
199
RDBMS OLTP. relation database management system,关系型数据库管理系统。 支持事务(acid) 延迟低 安全行 V variaty : 多样性。 hive mr,sql 开发效率高。 数据仓库。 数据库: //OLTP OLTP //online tra ...
分类：
其他好文 时间：
2018-09-25 20:44:40
阅读次数：
182
Hive基础 1、介绍 Hive是OLAP(online analyze process，在线分析处理)。通常称为数据仓库，简称数仓。内置很多分析函数，可进行海量数据的在线分析处理。hive构建在hadoop之上，使用hdfs作为进行存储，计算过程采用的是Mapreduce完成，本质上hive是对h ...
分类：
其他好文 时间：
2018-09-25 20:41:27
阅读次数：
197
最近的一个小项目是做一个简单的数据仓库，需要将其他数据库的数据抽取出来，并通过而出抽取成页面需要的数据，以空间换时间的方式，让后端报表查询更快。 因为在抽取的过程中，有一定的先后顺序，需要做一个任务调度器，某一优先级的会先执行，然后会进入下一个优先级的队列任务中。 先定义了一个Map的集合，key是 ...
分类：
编程语言 时间：
2018-09-23 11:48:28
阅读次数：
203
