一、file formatORCFile在HDP 2:更好的压缩，更好的性能：https://zh.hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/官方ORCfile介绍：https://cwik... ...
分类：
其他好文 时间：
2019-04-26 14:49:22
阅读次数：
160
本文主要介绍如何为 spark sql 的 metastore 配置成 mysql 。 spark 的版本 2.4.0 版本 hive script 版本为 hive 1.2.2 mysql 为 5.7.18 mysql 的安装部署就不在这里介绍了。 首先为 mysql 的root 用户设置密码 设 ...
分类：
数据库 时间：
2019-04-25 19:01:08
阅读次数：
481
paper: 《Attention Augmented Convolutional Networks》 https://arxiv.org/pdf/1904.09925.pdf 这篇文章是google brain的，应该有分量。上来就说：卷积神经网络有一个重要的弱点就是 它仅仅操作于于一个领域，对于 ...
分类：
Web程序 时间：
2019-04-25 11:42:18
阅读次数：
2109
1、微服务架构技术栈 https://blog.csdn.net/qq_27384769/article/details/80258846 2、基于 Spring Cloud 完整的微服务架构实战 https://blog.csdn.net/m0_37803704/article/details/7 ...
分类：
其他好文 时间：
2019-04-24 22:10:18
阅读次数：
155
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport一、Export、ImportExport 导出，将Hive表中的数据，导出到外部Import 导入，将外部数据导入Hive表中二、Export1、... ...
分类：
其他好文 时间：
2019-04-24 10:38:12
阅读次数：
370
1 简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的[SQL]查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用， ...
分类：
系统相关 时间：
2019-04-23 15:47:11
阅读次数：
174
J 为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及 ...
分类：
其他好文 时间：
2019-04-23 15:43:25
阅读次数：
177
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 这三类中，我们只对UDF类的函数进行改写 这三类中，我们只对UDF类的函数进行改写 pom文件配置 UDF函数编写 打j ...
分类：
其他好文 时间：
2019-04-23 12:34:52
阅读次数：
229
Apache Hadoop的服务的部署比較繁琐。须要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。因为须要对Hive,HBase,Impala,Spark进行功能測试，就採用了Cloudera Manager方式进行安装。 Cl ...
分类：
其他好文 时间：
2019-04-23 09:17:26
阅读次数：
362
在有些时候，想要控制hql执行的mapper,reducer个数,reducer设置过少，会导致每个reducer要处理的数据过多，这样可能会导致OOM异常，如果reducer设置过多，则会导致产生很多小文件，这样对任务的执行以及集群都不太好.通常情况下这两个参数都不需要手动设置，Hive会根据文件 ...
分类：
其他好文 时间：
2019-04-22 20:59:35
阅读次数：
258
