从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法，分别是： （1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件； （2）、命令行参数； （3）、在已经进入cli时进行参数声明。 方法一：hive-site.xml配置参数 在Hive中，所有的默认配置 ...
分类：
其他好文 时间：
2019-12-14 15:27:01
阅读次数：
122
Hive的数据模型 Hive数据模型.png 数据模型组成及应用场景 Hive的数据模型主要有：database、table、partition、bucket四部分； 数据模型之database database：相当于关系型数据库中的命名空间，作用是将数据库应用隔离到不同的数据库模式中，hive提 ...
分类：
其他好文 时间：
2019-12-14 15:25:44
阅读次数：
104
什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更 ...
分类：
其他好文 时间：
2019-12-14 15:25:15
阅读次数：
129
Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。 对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTex ...
分类：
其他好文 时间：
2019-12-14 15:24:37
阅读次数：
160
1. Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo ...
分类：
其他好文 时间：
2019-12-14 14:08:06
阅读次数：
92
在ubuntu下安装gcc ~~~ 第一次写blog，多多包涵！ ~~~ gcc安装步骤 废话不多说，gcc安装步骤如下： ~~~ 1. sudo apt update 2. sudo apt install build essential ~~~ ? 如果要验证gcc编译器是否已经安装完毕，可以使 ...
分类：
系统相关 时间：
2019-12-13 19:36:53
阅读次数：
198
1.应用层建内部表，数仓表用外部表 2.存储格式一般选orcfile，除非需要直接load数据的表则选textfile 3.建表时要指定库名 hive的建表样例 create table if not exists 表名( 字段名 字段类型 comment'字段描述' 。。。。。。。。。。。。。。。 ...
分类：
其他好文 时间：
2019-12-13 18:01:38
阅读次数：
88
转：https://www.cnblogs.com/raphael5200/p/5221927.html Python的输入输出都是\t为分隔符，否则会出错，python脚本输入print出规定格式的数据 用法为先add file，使用语法为TRANSFORM (name, items) USING ...
分类：
编程语言 时间：
2019-12-13 13:56:46
阅读次数：
101
1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式 ...
分类：
其他好文 时间：
2019-12-13 13:37:45
阅读次数：
263
