同时打开两个个客户端窗口启动 hive,会产生 java.sql.SQLException 异常。 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unab ...
分类:
数据库 时间:
2020-03-22 23:56:39
阅读次数:
129
背景 我用VMWare搭建了一个Hadoop集群,Spark与Hive等组件都已经安装完毕。现在我希望在我的开发机上使用IDEA连接到集群上的Hive进行相关操作。 进行配置修改 修改Hive中的hive site.xml 在hive site.xml中找到这个配置,将改成如下形式 在hive si ...
分类:
其他好文 时间:
2020-03-21 18:02:12
阅读次数:
144
原文链接: https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了,如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类:
其他好文 时间:
2020-03-21 00:07:30
阅读次数:
68
原文链接: https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C:cloudera(公司) D:distribute H:Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题,不用自己编译, CDH适合商用 ...
分类:
其他好文 时间:
2020-03-21 00:07:13
阅读次数:
91
原文链接: https://www.toutiao.com/i6770870821809291788/ Hive和mapreduce相关的排序和运行的参数 1.设置每个reduce处理的数据量(单位是字节) 我们在hive中查看下 配置文件hive-site.xml.template 我们打开配置文 ...
分类:
编程语言 时间:
2020-03-21 00:06:17
阅读次数:
85
原文链接: https://www.toutiao.com/i6771018203687551495/ Hive的连接 启动hadoop的时候将history也启动,如果出问题,可以方便我们后续定位 首先将Hive变成对外开放 启动hiveserver2 我们查看下 如果杀掉需要用kill -9 P ...
分类:
其他好文 时间:
2020-03-20 23:57:01
阅读次数:
114
在window下通过idea开发,在代码中需要spark,使用loacl模式,生成一些数据存放到hive中,使用的也是spark自带的hive库。在idea运行时报错:Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionState‘:java.lang.RuntimeException:Therootscratc
分类:
其他好文 时间:
2020-03-20 11:05:34
阅读次数:
59
spring boot 项目想要连接hive库的时候 需要导入两个jar包hadoop-common-2.5.1.jar和hive-jdbc-1.2.1 在导入的之后原来的项目启动报错具体如下 org.springframework.beans.factory.UnsatisfiedDependen ...
分类:
编程语言 时间:
2020-03-20 10:54:27
阅读次数:
222
https://www.cnblogs.com/seven-sky/p/4729962.html https://blog.csdn.net/bxjie/article/details/39581565 http://nto.github.io/AirPlay.html https://www.ji ...
分类:
其他好文 时间:
2020-03-18 11:36:39
阅读次数:
72
什么是ClickHouse? 毛子开源的一个列式存储数据库(DBMS), 主要用于OLAP, 能使用SQL查询实时生成分析数据报告。 可以类比HBase 数据类型 与其他框架比较 | MySQL | Hive | ClickHouse | | | | | | byte | TINYINT | Int ...
分类:
其他好文 时间:
2020-03-17 19:30:21
阅读次数:
51