hive中有个比较严重的bug，默认情况下任何用户都可以运行grant命令来做授权操作在Driver.compile方法中，可以增加对AST的hook(hive可以有很多hook，后面分析hivehook的类型和使用阶段)，用来做一些forbidden的操作：compile相关的内容如下：BaseSemanticAnalyzersem=SemanticAn..
分类：
其他好文 时间：
2014-12-07 15:12:43
阅读次数：
218
目前的hive版本是支持authentication和authorization的（再加上计费就是3A了，哈哈）,在hive的java.org.apache.hadoop.hive.conf.HiveConf类中定义的权限相关的设置项有:HIVE_AUTHORIZATION_ENABLED("hive.security.authorization.enabled",false),//是否开启权限验证
HIVE_AUT..
分类：
其他好文 时间：
2014-12-07 15:12:19
阅读次数：
415
今天hiveusermaillist上有人问showcurrentroles命令问题：Iamtryingtorun‘Showcurrentroles’onApachehive0.13.1butgettingfollowingerror,
hive>SHOWCURRENTROLES;
Errorinroleoperationshow_current_roleonrolenamenull,errormessageUnkownroleoperationshow_current_rol..
分类：
其他好文 时间：
2014-12-07 15:11:11
阅读次数：
204
扩展HadoopDefaultAuthenticator类的setConf方法，实现可以代理用户运行的功能，主要需求如下：1.不传入参数时，按本用户执行2.传入参数时，按传入参数执行3.对设置为hdfs用户进行限制主要更改HiveConf类和HadoopDefaultAuthenticator类HiveConf增加：HIVE_USE_CUSTOM_PROXY("u..
分类：
其他好文 时间：
2014-12-07 15:10:35
阅读次数：
257
为了优化MapReduce及MR之前的各种工具的性能，在Hadoop内建的数据存储格式外，又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile，以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进化历程。数据摆放结构数据摆放结构(data placement structure)，顾名思义，就是数...
分类：
其他好文 时间：
2014-12-06 19:32:48
阅读次数：
620
原文:T-SQL: 17 个与日期时间相关的自定义函数(UDF),周日作为周的最后一天,均不受 @@DateFirst、语言版本影响!CSDN 的 Blog 太滥了!无时不刻地在坏! 开始抢救性搬家 ... ... 到这里重建家园 /* T-SQL: 17 个与日期时间相关的自定义函数(UDF),周...
分类：
数据库 时间：
2014-12-06 10:00:42
阅读次数：
321
今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家：目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表，一个外部表是基于这个Hbase表的，另一个是单纯的基于hdfs的hive原生表，然后把外部表的数据导入到原生表（临时），然后通过hive将临时表里面的数据导出到mysql...
分类：
数据库 时间：
2014-12-05 09:15:17
阅读次数：
438
Alex 的 Hadoop 菜鸟教程: 第8课 Sqoop1 导入 Hbase 以及 Hive...
分类：
其他好文 时间：
2014-12-02 19:19:32
阅读次数：
259
Hive安装配置参考网址http://blog.yidooo.net/archives/apache-hive-installation.htmlhttp://www.cnblogs.com/linjiqin/archive/2013/03/04/2942402.htmlHbase In Actio...
分类：
其他好文 时间：
2014-12-02 18:45:26
阅读次数：
974
