1-请详细描述将一个有结构的文本文件student.txt导入到一个hive表中的步骤，及其关键字 假设student.txt 有以下几列：id,name,gender三列 1-创建数据库 create database student_info; 2-创建hive表 student create ...
分类：
数据库 时间：
2019-12-14 16:02:45
阅读次数：
141
1-创建表 -- 内部表 create table aa(col1 string,col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'； -- 外部表 create external ...
分类：
其他好文 时间：
2019-12-14 15:56:55
阅读次数：
65
聚合函数 函数处理的数据粒度为多条记录。 sum()—求和 count()—求数据量 avg()—求平均直 distinct—求不同值数 min—求最小值 max—求最人值 分析函数 Analytics functions RANK ROW_NUMBER DENSE_RANK CUME_DIST P ...
分类：
其他好文 时间：
2019-12-14 15:53:30
阅读次数：
155
Hive视图特点 View是逻辑存在，Hive暂不支持物化视图(1.0.3) View只读，不支持LOAD/INSERT/ALTER。需要改变View定义，可以是用Alter View View内可能包含ORDER BY/LIMIT语句，假如一个针对view的查询也包含这些语句， 则view中的语句 ...
分类：
其他好文 时间：
2019-12-14 15:49:39
阅读次数：
235
数据倾斜产生的原因 数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类 Hive倾斜之group by聚合倾斜 原因： 分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久； 对一些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进行group by的时候，会 ...
分类：
其他好文 时间：
2019-12-14 15:46:31
阅读次数：
174
Hive的优化策略大致分为：配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数据倾斜解决方案。 回答的时候需要，需要准确的说出具体的配置参数，准确的说出具体的配置参数，这是一个深刻的教训。 配置优化 1-Fetch抓取配置 Fetch抓取是指，Hive中对某些情况 ...
分类：
其他好文 时间：
2019-12-14 15:44:09
阅读次数：
109
Hive内外部区分方法 查看hive元数据：进入mysql中hive元数据库，查看TBLS表，查看对应的表名和表类型； 在hive-cli界面：desc extended tablename，查看TableType，一般在展示结果的最后显示； 在hive-cli界面：desc formatted t ...
分类：
其他好文 时间：
2019-12-14 15:43:27
阅读次数：
85
UDF User-Defined-Function 自定义函数 、一进一出； 背景 系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。 意义 函数扩展得到解决，极大丰富了可定制化的业务需求。 IO要求 ...
分类：
其他好文 时间：
2019-12-14 15:39:47
阅读次数：
513
Hive动态分区参数配置 往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 使用动态分区表必须配置的 ...
分类：
其他好文 时间：
2019-12-14 15:37:11
阅读次数：
104
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
