为了更好地使用好Hive，我将《Programming Hive》的Security章节取出来，翻译了一下。Hive还是支持相当多的权限管理功能，满足一般数据仓库的使用。Hive由一个默认的设置来配置新建文件的默认权限。Xml代码 hive.files.umask.value0002Thedfs.u...
分类：
其他好文 时间：
2015-07-23 21:26:05
阅读次数：
218
1.在使用Python连接hive之前需要将hive中的文件拷贝到自己创建python项目中 cp -r apache-hive-0.14.0-bin/lib/py /home/jia/Desktop2.把hive上的py目录下载到桌面之后，进入py目录，复制里面所有的文件到你创建的python项目...
分类：
编程语言 时间：
2015-07-23 11:55:35
阅读次数：
333
近期，大数据开发环境升级为cloudera 5.3. 配套的hive版本升级为0.13.1.可以使用心仪已久的分析开窗函数了。但在使用的过程中发现一些问题，仅记于此。1.在使用hive命令的时候，发现自动跳转至beeline客户端，并且提示hive cli已经过期，推荐使用beeline.然后提示你...
分类：
其他好文 时间：
2015-07-23 08:12:15
阅读次数：
754
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数。UDF用户自定义函数（user defined function)–针对单条记录。
创建函数流程
1、自定义一个Java类
2、继承UDF类
3、重写evaluate方法
4、打成jar包
6、在hive执行add jar方法
7、在hive执行创建模板函数
8、hql中使用Demo01:
自定义...
分类：
其他好文 时间：
2015-07-22 00:05:25
阅读次数：
296
函数分类HIVE CLI命令显示当前会话有多少函数可用
SHOW FUNCTIONS;显示函数的描述信息
DESC FUNCTION concat;显示函数的扩展描述信息
DESC FUNCTION EXTENDED concat;简单函数函数的计算粒度为单条记录。
关系运算
数学运算
逻辑运算
数值计算
类型转换
日期函数
条件函数
字符串函数
统计函数聚合函数函数处理的数...
分类：
其他好文 时间：
2015-07-21 22:17:58
阅读次数：
8986
1、整库导入 sqoop ?import-all-tables --connect jdbc:mysql://ip:3306/dbname ?--username user --password password --hive-database abc ?-m 10 ?--create-hive-table ?--hive-import --hive-overwrite?...
分类：
其他好文 时间：
2015-07-21 19:08:53
阅读次数：
217
Hive集成Mysql作为元数据 默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要...
分类：
数据库 时间：
2015-07-21 18:33:29
阅读次数：
175
先决条件：
1)java环境，需要安装java1.6以上版本
2)hadoop环境，Hadoop-1.2.1的安装方法参考 hadoop-1.2.1安装方法详解
本帖教程采用的hadoop是hadoop-1.2.1，hive采用的是hive-0.11.0
hive有三种安装模式：
内嵌模式：元数据保持在内嵌的Derby模式，只允许一个会话连接
本地独立模式：在本...
分类：
其他好文 时间：
2015-07-21 10:45:16
阅读次数：
309
Table of Contents
Hive-On-Tez测试
MRR计算模型测试MPJ计算模型测试
Hive-On-Tez测试
在MRR和MPJ计算模型的处理上，TEZ能够提升的性能较为明显，具体测试如下：
MRR计算模型测试
测试表格
1.users(id,name,password): 数据总量1千万条...
分类：
其他好文 时间：
2015-07-21 06:49:46
阅读次数：
393
mysql> select concat('Hadoop:','Hive:','Spark#','HBase;',TBL_TYPE,'{}',SD_ID) from TBLS;| Hadoop:Hive:Spark#HBase;MANAGED_TABLE{}6 || Hadoop:Hive:Spar...
分类：
数据库 时间：
2015-07-21 01:26:52
阅读次数：
213
