Hive架构架构原理： 1.4.1 查询语言 由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的 查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 1.4.2 数据存储位置 Hive 是建立在 Hadoop 之上的，所有 H ...
分类：
其他好文 时间：
2020-05-01 16:26:49
阅读次数：
51
impala 虽然说查询速度比 hive 快很多，查询出来的数据格式也很漂亮，但是这些数据不能直接复制到excel中使用，十分不方便。 在这里有一个命令可以将查询数据直接导出到文件中。 impala-shell -q "SELECT * from dw_center.order limit 20 " ...
分类：
其他好文 时间：
2020-04-30 17:17:45
阅读次数：
169
对于数仓开发来说，写好一条SQL，需要熟读Hive 源码。 FilterPPD 会把可以下推的谓词抽取出来，存入OpWalkerInfo.opToPushdownPredMap.pushdownPreds 中 JoinPPD 的主要作用就是把能够下推的谓词和不能够下推的谓词分开，将不能够下推的谓词重 ...
分类：
其他好文 时间：
2020-04-30 13:49:07
阅读次数：
65
对于用windows的用户，新买的mac 和会windows系统有差异， 这篇文章可以帮助你快速入门使用mac https://www.cnblogs.com/TankXiao/archive/2013/01/05/2845413.html ...
分类：
系统相关 时间：
2020-04-29 20:12:31
阅读次数：
74
一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去 ...
分类：
其他好文 时间：
2020-04-29 10:59:03
阅读次数：
65
【确保服务器集群安装和配置已经完成！】前言请根据读者的自身情况，进行相应随机应变。我的三台CentOS7服务器：主机：master（192.168.56.110）从机：slave0（192.168.56.111）从机：slave1（192.168.56.112）每一个节点的安装与配置是相同的，在实际 ...
分类：
其他好文 时间：
2020-04-29 01:28:44
阅读次数：
138
Hive是什么？ 个人理解是把存储在hdfs上的数据映射位一张数据库表，提供类sql（HQL）语句的查询，方便数据的分析，查询。另外一点就是自动的把HQL转化为MapRudecu、Tez、Spark执行。 Hive的架构 用户接口：可以是hive shell，jdbc（java 访问hive），we ...
分类：
其他好文 时间：
2020-04-27 15:21:33
阅读次数：
59
hive表中 desc 及 show create table 查出来字段和表的中文comment全是 ？解决方案： 1、进入CDH的元数据库mysql执行：show create database hive; 发现默认是utf8类型 mysql> show create database hive ...
分类：
其他好文 时间：
2020-04-26 20:41:58
阅读次数：
80
1.Fetch抓取 Fetch抓取是，Hive中对某些情况的查询可以不必使用MapReduce计算；例如像select * from table这种的操作，在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台； 在hive-default.xml.te ...
分类：
其他好文 时间：
2020-04-25 15:28:25
阅读次数：
91
这里我们针对在HIVE中遇到的NULL和空字符串问题进行简单探讨，避免踩坑！！！ 简单探索 首先新建一张测试表test_01，用作后续测试 CREATE TABLE IF NOT EXISTS `test_01`( `id` INT, `name` STRING,`age` INT, `score` ...
分类：
其他好文 时间：
2020-04-24 20:05:22
阅读次数：
149
