1、安装JDK并设置环境变量 2、上传安装包 3、解压 4、设置环境变量# vi ~/.bash_profile或vi /etc/profile5、进入hive shell# hive shell或# hive 6、常见操作 查看数据库清单hive> show databses; 查看表清单hive...
分类：
其他好文 时间：
2014-07-12 00:27:32
阅读次数：
347
在Hive/bin 目录下输入./hive --service hiveserver 代表hive启动了服务器模式。和普通模式不同的是，这时hive同时启动了一个名为thrift的服务器。你不用去研究这个服务器的原理，认为他是一个传递信息的人就好，你可以通过他向hive发送命令，然后hive再把命令...
分类：
其他好文 时间：
2014-07-11 19:51:58
阅读次数：
699
1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类：
其他好文 时间：
2014-07-11 10:00:17
阅读次数：
213
1、时间函数from_unixtime函数 用法为将时间戳转换为时间格式语法: from_unixtime(bigint unixtime[, string format]) 返回值为string例如 hive>select from_unixtime(1326988805,'yyyyMMddHH....
分类：
其他好文 时间：
2014-07-11 09:53:10
阅读次数：
319
原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapRed...
分类：
编程语言 时间：
2014-07-09 14:38:04
阅读次数：
266
由于在生产环境中大量使用hive，而hive的权限又较弱，如果可以记录所有hive操作，在增强安全性的同时，还能够统计hive表的使用频率；同时如果能够记录hql的开始和结束时间，则能够找出系统中花费时间较多的job，针对性的进行优化，因此跟踪hive的使用轨迹，增强安全的同时也能方便问题定位。如何记录用户操作了？Hive Hook为我们提供的方便的开放接口。
我们对hive的使用主要有两种使用...
分类：
其他好文 时间：
2014-07-09 10:21:05
阅读次数：
233
线上一个job出错，报错信息如下：DiagnosticMessagesforthisTask:
Error
:
java.io.IOException:java.io.EOFException:Unexpectedendofinputstream
atorg.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.jav..
分类：
其他好文 时间：
2014-07-09 08:40:55
阅读次数：
347
一、开启权限
目前hive支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表都有查看和改动的权利，这样是不符合一般数据仓库的安全原则的。Hive可以是基于元数据的权限管理，也可以基于文件存储级别的权限管理，此次以介绍MetaData权限管理为主。通过以下配置开启Hive身份认证功能进行权限检查：
hive.se...
分类：
其他好文 时间：
2014-07-08 14:06:26
阅读次数：
192
在hive上启动servicehive--servicehiveserver在eclipse中进行开发导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了）我的代码，hive的语法就不说了，大家可以修改例子中的sql来进行自己的业务。我的hive没有设置用户名，密码。所以Connectioncon=..
分类：
数据库 时间：
2014-07-08 11:20:04
阅读次数：
411
