一、Fetch Task在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗？那个也太浪费时间和内存啦，所以有一个hive的配置如下所示：#在hive-default.xml.templa... ...
分类：
其他好文 时间：
2019-04-28 15:50:07
阅读次数：
141
在 conf/hive-site.xml 中添加如下配置 重新进入Hive，如下所示： 配置已生效 . ...
分类：
数据库 时间：
2019-04-27 18:17:27
阅读次数：
344
1、首先安装Hadoop，已安装跳过 安装Hadoop 步骤： https://www.cnblogs.com/jonban/p/hadoop.html 2、下载Hive ，以apache-hive-1.2.2-bin.tar.gz 为例，下载地址如下： https://mirrors.tuna.t ...
分类：
其他好文 时间：
2019-04-27 13:04:59
阅读次数：
155
set spark.executor.instances=20; set spark.executor.cores=5; set spark.executor.memory=5G; ...
分类：
其他好文 时间：
2019-04-27 00:46:46
阅读次数：
172
一、file formatORCFile在HDP 2:更好的压缩，更好的性能：https://zh.hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/官方ORCfile介绍：https://cwik... ...
分类：
其他好文 时间：
2019-04-26 14:49:22
阅读次数：
160
本文主要介绍如何为 spark sql 的 metastore 配置成 mysql 。 spark 的版本 2.4.0 版本 hive script 版本为 hive 1.2.2 mysql 为 5.7.18 mysql 的安装部署就不在这里介绍了。 首先为 mysql 的root 用户设置密码 设 ...
分类：
数据库 时间：
2019-04-25 19:01:08
阅读次数：
481
paper: 《Attention Augmented Convolutional Networks》 https://arxiv.org/pdf/1904.09925.pdf 这篇文章是google brain的，应该有分量。上来就说：卷积神经网络有一个重要的弱点就是 它仅仅操作于于一个领域，对于 ...
分类：
Web程序 时间：
2019-04-25 11:42:18
阅读次数：
2109
1、微服务架构技术栈 https://blog.csdn.net/qq_27384769/article/details/80258846 2、基于 Spring Cloud 完整的微服务架构实战 https://blog.csdn.net/m0_37803704/article/details/7 ...
分类：
其他好文 时间：
2019-04-24 22:10:18
阅读次数：
155
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport一、Export、ImportExport 导出，将Hive表中的数据，导出到外部Import 导入，将外部数据导入Hive表中二、Export1、... ...
分类：
其他好文 时间：
2019-04-24 10:38:12
阅读次数：
370
1 简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用， ...
分类：
系统相关 时间：
2019-04-23 15:47:11
阅读次数：
174
