最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨，很奇怪，虽然知道HiveServer2支持并发连接，使用ZooKeeper来管理Hive表的读写锁，但我们的环境并不需要这些，我们已经关闭并发功能，以下是线上的配置，甚至把这些值都改成final了。
但是zookeeper连接依然会涨。后来想想，我们要访问的表是hive去映射的hbase，hivese...
分类：
数据库 时间：
2016-02-24 09:43:37
阅读次数：
220
Hive本质上不是数据库，数据内容保存在HDFS,元数据和数据映射保存在mysql。eclipse连接hive时，需要将hive启动为服务，hive自身提供了服务启动方式一、Hive服务启动方式hive --service hiveserver2 hive服务绑定的10000端口号 查看1000.....
分类：
系统相关 时间：
2015-12-17 12:51:51
阅读次数：
241
自从Hive0.13.0开始，使用HiveServer2 的jdbc方式创建udf的临时函数的方法由：ADD JAR ${HiveUDFJarPath} create TEMPORARY function md5 as 'com.hugedata.hive.udf.codec.UDFMd5';改为....
分类：
数据库 时间：
2015-10-23 21:18:12
阅读次数：
809
今天在使用 hive --service hiveserver 命令启动 hiveserver 时出错了，hive版本1.2.0 ，错误信息如下： -bash-4.1$ hive --service hiveserver -p 10002 & Starting Hive Thrift Server Exception in thread "m...
分类：
其他好文 时间：
2015-08-25 17:12:40
阅读次数：
458
背景这一篇可以说是“HiveJSON数据处理的一点探索”的兄弟篇。平台为了加速即席查询的分析效率，在我们的Hadoop集群上安装部署了Spark Server，并且与我们的Hive数据仓库共享元数据。也就是说，我们的用户即可以通过HiveServer2使用Hive SQL执行MapReduce分析数...
分类：
数据库 时间：
2015-08-14 15:15:07
阅读次数：
334
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的...
分类：
数据库 时间：
2015-08-12 18:40:43
阅读次数：
9623
遇到的坑：1、Hive的任务会从临时目录移动数据到数据仓库目录，默认hive使用/tmp作为临时目录，用户通常使用/user/hive/warehouse/作为数据仓库目录。在FederatedHDFS情况下，/tmp和/user视为两个不同的ViewFSmounttable，所以hive任务在这两个目录之间移动数据。FederatedHDFS..
分类：
其他好文 时间：
2015-07-30 15:11:51
阅读次数：
1079
To configure Hive for use with HiveServer2, include the following configuration properties in the .../hive-site.xmlconfiguration file. hive.support.c....
分类：
其他好文 时间：
2015-06-17 23:14:12
阅读次数：
304
Beeline – 一个新的命令行Shell
HiveServer2 supports a new command shell Beeline that works with HiveServer2. It's a JDBC client that is based on the SQLLine CLI (http://sqlline.sourceforge.net/).
There’s...
分类：
其他好文 时间：
2015-05-19 16:39:57
阅读次数：
391
要做一个通过调用python来实现对hive server2 的连接。在网上搜索了很多资料，有些说的hive sever的，但是由于认证方式发送了改变，行不通。最后，找到了权威的说明（PS: 还是应该先看官方材料）：https://cwiki.apache.org/confluence/displa...
分类：
编程语言 时间：
2015-05-15 22:42:03
阅读次数：
266
