1、hive抓取策略 hive.fetch.task.conversion = more/none more不走mr，none走mr 2、explain 显示执行计划 3、设置本地运行模式 set hive.exec.mode.local.auto = true hive.exec.mode.loc ...
分类：
其他好文 时间：
2019-09-14 10:20:34
阅读次数：
98
1Fetch抓取Fectch抓取是指对某些情况下的查询不必使用MapReduce计算将hive.fetch.task.conversion设置成more，在全局查找、字段查找、limit查找等都不走MapReduce2本地模式多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的，不过，有时Hive的输入数据量是非常小的，在这种情况下，为查询触发执行任务消耗的时间可能会比实
分类：
其他好文 时间：
2019-09-13 17:21:44
阅读次数：
105
背景介绍 Kylin 作为OLAP中主流的框架之一，其优势是在于利用Cube对数据做预计算。在离线计算的场景中，数据源为Hive表，使用Spark/MR对源数据进行折叠，将结果存储在HBase中。用户在查询的时候，元数据使用的是折叠后的维度（同步自Hive），实际查询的是HBase的结果。 这就带来 ...
分类：
其他好文 时间：
2019-09-13 12:52:11
阅读次数：
131
Hive数据导入方式,Hive数据导出方式。hive，hdfs数据
分类：
其他好文 时间：
2019-09-13 11:32:35
阅读次数：
123
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1.内置运算符1.1关系运算符 1.2算术运算符 1.3逻辑运算符 1.4复杂类型函数 1.5对复杂类型函数操作 2.内置函数2.1数学函数 2.2收集函数 ...
分类：
其他好文 时间：
2019-09-12 00:20:40
阅读次数：
128
DML主要是对Hive 表中的数据进行操作的（增 删 改），但是由于Hadoop的特性，所以单条的修改、删除，其性能会非常的低所以不支持进行级操作； 主要说明一下最常用的批量插入数据较为常用的方法： 1、从文件中加载数据 例： ...
分类：
其他好文 时间：
2019-09-12 00:18:00
阅读次数：
158
一、前提条件 安装了Zookeeper、Hadoop HDFS HA 二、安装Mysql 因为使用量多的是单用户数据库模式，并且数据库使用最多的是mysql 所以在这里选择mysql数据库； 三、Hive安装 启动hive 如果能正常的显示登录到hive的命令行下，就表示安装成功了； ...
分类：
数据库 时间：
2019-09-11 23:57:51
阅读次数：
191
1、Hive的内表 Hive 的内表，就是正常创建的表，在 http://www.cnblogs.com/raphael5200/p/5208437.html 中已经提到； 2、Hive的外表 创建Hive 的外表，需要使用关键字 External： 下面看一个例子： 这两个，左边是外表，右边是内表 ...
分类：
其他好文 时间：
2019-09-11 23:51:37
阅读次数：
127
这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可; ...
分类：
其他好文 时间：
2019-09-11 23:47:16
阅读次数：
141
官方帮助文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive DDL Hive完整的DDL Hive DDL的语方法为类SQL语法，所以标准的SQL语法大多数在Hive中都可用； Hive建表 Hive ...
分类：
其他好文 时间：
2019-09-11 23:42:44
阅读次数：
159
