配置 Hive On Tez 标签（空格分隔）： hive Tez 部署底层应用 简单介绍 介绍：tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2 3倍速度左右，大任务7 10倍左右，根据 ...
分类：
其他好文 时间：
2019-05-13 22:59:00
阅读次数：
158
第一步 卸载系统自带的OpenJDK以及相关的java文件 1、在命令窗口键入：rpm -qa | grep java 命令说明： rpm 管理套件 -qa 使用询问模式，查询所有套件 grep 查找文件里符合条件的字符串 java 查找包含java字符串的文件 2、删除原有java文件，在命令窗口 ...
分类：
其他好文 时间：
2019-05-13 14:44:23
阅读次数：
99
1 hive表关联查询，如何解决数据倾斜的问题?倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些S ...
分类：
其他好文 时间：
2019-05-13 14:29:16
阅读次数：
107
1. 语法1.1 选项:1.2 常用参数2. 例子2.1 删除老数据2.2 归档2.3 pt-archiver 测试对表数据重复插入主键非递增类型TOC https://www.cnblogs.com/zhoujinyi/p/9925508.html 1. 语法 注意：pt-archiver操作的表... ...
分类：
其他好文 时间：
2019-05-13 12:44:27
阅读次数：
110
版本号：cdh5.0.0+hadoop2.3.0+hive0.12一、原始数据：1. 本地数据[root@node33 data]# ll total 12936 -rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv [root@no ...
分类：
其他好文 时间：
2019-05-13 10:45:05
阅读次数：
113
package dev.spark.sqlimport java.util.Propertiesimport org.apache.spark.sql.{Row, SQLContext, SaveMode}import org.apache.spark.sql.hive.HiveContextimp ...
分类：
数据库 时间：
2019-05-12 20:07:53
阅读次数：
211
大数据数据仓库-基于大数据体系构建数据仓库（Hive，Flume，Kafka，Azkaban，Oozie，SparkSQL） ...
分类：
数据库 时间：
2019-05-12 13:36:39
阅读次数：
163
自从公司使用大数据产品之后，就很少碰开源的东西了，集群出问题也是跟研发沟通，前些天有朋友问我，怎么能把hive底层的引擎换成spark，我想了想，是不是将hive的数据库共享给spark然后用spark-shell不就好了，后来查了查资料，原来不是这样的，这里面的操作还挺多了。哎，真的是，用了别人产品，开发是方便了，原理懂的就少了，小编一直还沉浸在用一条SQL底层就能转换的
分类：
其他好文 时间：
2019-05-12 01:07:14
阅读次数：
171
近来在做项目中的技术调研，使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些问题，记录如下： 一，使用spark-sql client driver去访问hive创建的数据库，发现找不到，使用presto访问hive,只能读写外部表。 经过查询资料了解到，hive3. ...
分类：
其他好文 时间：
2019-05-11 12:17:22
阅读次数：
471
1：需要将yarn.cmd替换到hadoop的bin下，因为windows下需要windows的文档格式2：hive如果需要运行mr任务，要使用管理员身份运行3：如果机器资源匮乏yarn无法启动，始终提示节点unhealthy可使用配置降低要求（yarn-site覆盖到hadoop/etc的下面）， ...
分类：
其他好文 时间：
2019-05-11 09:14:57
阅读次数：
97
