Hive视图特点 View是逻辑存在，Hive暂不支持物化视图(1.0.3) View只读，不支持LOAD/INSERT/ALTER。需要改变View定义，可以是用Alter View View内可能包含ORDER BY/LIMIT语句，假如一个针对view的查询也包含这些语句， 则view中的语句 ...
分类：
其他好文 时间：
2019-12-14 15:49:39
阅读次数：
235
数据倾斜产生的原因 数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类 Hive倾斜之group by聚合倾斜 原因： 分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久； 对一些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进行group by的时候，会 ...
分类：
其他好文 时间：
2019-12-14 15:46:31
阅读次数：
174
Hive的优化策略大致分为：配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数据倾斜解决方案。 回答的时候需要，需要准确的说出具体的配置参数，准确的说出具体的配置参数，这是一个深刻的教训。 配置优化 1-Fetch抓取配置 Fetch抓取是指，Hive中对某些情况 ...
分类：
其他好文 时间：
2019-12-14 15:44:09
阅读次数：
109
Hive内外部区分方法 查看hive元数据：进入mysql中hive元数据库，查看TBLS表，查看对应的表名和表类型； 在hive-cli界面：desc extended tablename，查看TableType，一般在展示结果的最后显示； 在hive-cli界面：desc formatted t ...
分类：
其他好文 时间：
2019-12-14 15:43:27
阅读次数：
85
UDF User-Defined-Function 自定义函数 、一进一出； 背景 系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。 意义 函数扩展得到解决，极大丰富了可定制化的业务需求。 IO要求 ...
分类：
其他好文 时间：
2019-12-14 15:39:47
阅读次数：
513
Hive动态分区参数配置 往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 使用动态分区表必须配置的 ...
分类：
其他好文 时间：
2019-12-14 15:37:11
阅读次数：
104
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法，分别是： （1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件； （2）、命令行参数； （3）、在已经进入cli时进行参数声明。 方法一：hive-site.xml配置参数 在Hive中，所有的默认配置 ...
分类：
其他好文 时间：
2019-12-14 15:27:01
阅读次数：
122
Hive的数据模型 Hive数据模型.png 数据模型组成及应用场景 Hive的数据模型主要有：database、table、partition、bucket四部分； 数据模型之database database：相当于关系型数据库中的命名空间，作用是将数据库应用隔离到不同的数据库模式中，hive提 ...
分类：
其他好文 时间：
2019-12-14 15:25:44
阅读次数：
104
什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更 ...
分类：
其他好文 时间：
2019-12-14 15:25:15
阅读次数：
129
