Kerberos协议: Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和S...
分类:
其他好文 时间:
2015-05-13 08:48:20
阅读次数:
136
配置hiveserver2,基于kerberos认证,使用0.14.0版本,记录中间遇到的问题和访问方式...
分类:
其他好文 时间:
2015-05-01 20:00:44
阅读次数:
277
问题:14/10/2015:53:14[HiveServer2-Handler-Pool:Thread-53]:WARNthrift.ThriftCLIService:Errorfetchingresults:org.apache.hive.service.cli.HiveSQLException:Couldn‘tfindlogassociatedwithoperationhandle:OperationHandle[opType=EXECUTE_STATEMENT,getHandleIdentifier..
分类:
其他好文 时间:
2015-03-19 16:40:22
阅读次数:
2177
启动hiveserver2:hiveserver2 --hiveconf hive.execution.engine=spark spark.master=yarn使用beeline连接hiveserver2:beeline -u jdbc:hive2://hadoop000:10000 -n sp...
分类:
其他好文 时间:
2015-03-12 18:56:16
阅读次数:
835
部署Hive后启动HiveServer2居然抛出了以下的异常:反复检查了配置文件,配置都是正确,就是启动失败,实在没有办法只能根据错误信息排查。* 找到HiveConf.java-->unitFor(String unit, TimeUnit defaultUnit)方法,通过代码可以看出是因为un...
分类:
编程语言 时间:
2015-02-12 15:31:51
阅读次数:
293
最近在测试hive0.11hiveserver时遇到的一个关于认证的bug,具体表现:在配置中指定了custom的认证方式时,通过beeline连接hiveserver2,发现连接hang祝hive配置:<property>
<name>hive.server2.authentication</name>a
<value>CUSTOM</value>
&l..
分类:
其他好文 时间:
2015-01-12 06:57:09
阅读次数:
420
1、hive数据仓库权限问题:set hive.warehouse.subdir.inherit.perms=true;2、HiveServer2的内存连接的个数越多压力越大,可以加大内存;可以通过-Xmx设置,在脚本中设置:-Xmx=2048m 甚至 -Xmx=4g3、关闭推测式任务:默认是打开的...
分类:
其他好文 时间:
2014-11-26 22:32:21
阅读次数:
571
这里是指java中执行hive或者hiveQL。 注意:而不是经常说的通过JDBC的方式连接Hiveserver2来执行查询。是在部署了hiveserver的服务器上执行hive命令。这样就可以将分析得结果写到文件中,不用一定在hive的命令行client下执行。String sql="show.....
分类:
编程语言 时间:
2014-11-22 17:26:54
阅读次数:
314
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th...
分类:
数据库 时间:
2014-09-13 18:30:55
阅读次数:
468
启动HiveServer2:cd $HIVE_HOME/bin以后台方式默认端口启动HiveServer2(默认端口是10000):hiveserver2 &以后台方式指定端口的方式启动:hiveserver2 --hiveconf hive.server2.thrift.port=14000 &使...
分类:
数据库 时间:
2014-09-09 15:28:58
阅读次数:
1080