Hive的配置详解和日常维护 一.Hive的参数配置详解 1>.mapred.reduce.tasks 2>.hive.mapred.mode 3>.hive.merge.mapfiles 4>.hive.merge.mapredfiles 5>.hive.exec.parallel 6>.hive ...
分类：
其他好文 时间：
2019-07-06 19:09:42
阅读次数：
117
hive中order by、distribute by、sort by和cluster by的区别和联系 order by order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。 而且当 ...
分类：
其他好文 时间：
2019-07-05 20:56:06
阅读次数：
82
之前写了一个程序，负责从一个集群中同步Hive数据到另一个集群中，代码中有这么一步，指定好表格后，会首先判断表格是否存在，不存在则创建，已经存在则提示是否覆盖。 在我最初编写程序的时候，两个集群中的表格基本上都是一致的，所以当初没有出什么问题。但是最近组长说这个程序干脆整合到平台里好了，所以找了一个 ...
分类：
数据库 时间：
2019-07-05 16:44:07
阅读次数：
729
一、安装Hadoop 1.1 版本说明 hadoop：3.1.2hive：3.1.1mysql：5.6.40 1.2 主机映射 添加IP与主机名的映射关系，在/etc/hosts文件里添加如下内容： 1.3 设置SSH无密码登录节点 让Master能够通过SSH无密码登录各个Slave节点。如果修改 ...
分类：
其他好文 时间：
2019-07-04 11:02:44
阅读次数：
319
1.hive的基础sql 建立测试数据表： 文章表：里面存入一段话，一个字段 （1）hive进行wordcount的统计 （2）经典的行转列 统计分析 要求转换为以下形式： (3)经典函数 时间计算 的使用 udata.user_id udata.item_id udata.rating udata ...
分类：
其他好文 时间：
2019-07-04 00:32:39
阅读次数：
151
在hive命令行中查询数据如下： 表头未显示出来 解决办法： 修改hive安装包conf/hive-site.xml配置文件： 再次查询如下所示： ...
分类：
其他好文 时间：
2019-07-02 20:53:11
阅读次数：
929
1.下载hive2.3.5 解压缩并改名为hive目录，放到/usr/local下(注意权限) sudo mv apache-hive-2.3.5-bin /usr/local/hive 2.修改目录所有者 /usr/local/下的hive文件夹 sudo chown -R 用户名 /usr/lo ...
分类：
系统相关 时间：
2019-07-01 20:11:54
阅读次数：
181
1 概述 开发调试spark程序时，因为要访问开启kerberos认证的hive/hbase/hdfs等组件，每次调试都需要打jar包，上传到服务器执行特别影响工作效率，所以调研了下如何在windows环境用idea直接跑spark任务的方法，本文旨在记录配置本地调试环境中遇到的问题及解决方案。 2 ...
