Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 HQL 转换 MR 流程： Hive 处理的数据存储在 ...
分类：
其他好文 时间：
2019-10-04 22:31:39
阅读次数：
120
1、创建一张普通表加载数据 hive (default)> create table person(id int,name string,location string) > row format delimited fields terminated by '\t';OKTime taken: 0 ...
分类：
其他好文 时间：
2019-10-04 13:09:41
阅读次数：
114
PHP（外文名：Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。 php可以在linux下开... ...
分类：
Web程序 时间：
2019-10-04 00:19:28
阅读次数：
137
spark整合hive后，hive启动报错： ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory 原因：spark版本升级到2.x以后,原有lib目录下的大JAR包被分 ...
分类：
其他好文 时间：
2019-10-03 23:44:17
阅读次数：
162
一、分桶及抽样查询 1、分桶表创建 hive (db_test)> create table stu_buck(id int,name string) > clustered by(id) > into 4 buckets > row format delimited fields terminat ...
分类：
其他好文 时间：
2019-10-03 14:47:39
阅读次数：
70
一、hive文件存储格式 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需 ...
分类：
其他好文 时间：
2019-10-03 14:40:32
阅读次数：
87
1. Hive是什么 1.1 hive的概念 Hive：由Facebook开源，用于解决海量（结构化日志）的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将Hive SQL转化成MapReduce程序 1.2 Hive ...
分类：
其他好文 时间：
2019-10-03 10:44:59
阅读次数：
112
Hive 主流文件存储格式对比 1、存储文件的压缩比测试 创建表，存储数据格式为TextFile 创建表，存储数据格式为TextFile 向表中加载数据 向表中加载数据 查看表的数据量大小 查看表的数据量大小 创建表，存储数据格式为 parquet 创建表，存储数据格式为 parquet 向表中加载 ...
分类：
其他好文 时间：
2019-10-03 10:39:51
阅读次数：
96
1. 基本查询 注意 SQL 语言大小写不敏感 SQL 可以写在一行或者多行 关键字不能被缩写，也不能分行 各子句一般要分行写 使用缩进提高语句的可读性 注意 SQL 语言大小写不敏感 SQL 可以写在一行或者多行 关键字不能被缩写，也不能分行 各子句一般要分行写 使用缩进提高语句的可读性 SQL ...
分类：
其他好文 时间：
2019-10-03 10:37:03
阅读次数：
63
1. hive表的数据压缩 1.1 数据的压缩说明 压缩模式评价 可使用以下三种标准对压缩方式进行评价 1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好 2、压缩时间：越快越好 3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化 压 ...
分类：
其他好文 时间：
2019-10-03 10:32:25
阅读次数：
89
