Hive只需要在使用节点上安装即可。1.上传tar包, 1.1解压 tar -zxvf apache-hive-0.13.0-bin.tar.gz -C /hadoop/ 1.2配置HIVE_HOME环境变量 /etc/profile2.安装mysql rpm -qa | grep mys...
分类:
其他好文 时间:
2015-08-17 11:25:59
阅读次数:
226
1,关于hiveHive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。Hive是Facebook 2008年8月刚开源的一个数据仓库框架,其系统目标与 Pig 有相似之处,但它有一些Pig目前还不支持的机制,比如:更丰富的类型系统、更类...
分类:
其他好文 时间:
2015-08-14 19:16:06
阅读次数:
140
背景这一篇可以说是“HiveJSON数据处理的一点探索”的兄弟篇。平台为了加速即席查询的分析效率,在我们的Hadoop集群上安装部署了Spark Server,并且与我们的Hive数据仓库共享元数据。也就是说,我们的用户即可以通过HiveServer2使用Hive SQL执行MapReduce分析数...
分类:
数据库 时间:
2015-08-14 15:15:07
阅读次数:
334
背景JSON是一种轻量级的数据格式,结构灵活,支持嵌套,非常易于人的阅读和编写,而且主流的编程语言都提供相应的框架或类库支持与JSON数据的交互,因此大量的系统使用JSON作为日志存储格式。使用Hive分析数据(均指文本)之前,首先需要为待分析的数据建立一张数据表,然后才可以使用Hive SQL分析...
分类:
Web程序 时间:
2015-08-13 21:44:00
阅读次数:
16305
问题:执行次命令没反应,表示空表 hive>?drop?table?tt; 不多说,是因为mysql数据库字符集问题,解决办法把之前的库删掉,重新创建一个,并修改字符集为latin1 alter database hive character set latin1; 再...
分类:
其他好文 时间:
2015-08-13 20:35:48
阅读次数:
222
转载自http://www.csdn.net/article/2010-11-28/282616Hive 体系结构Hive 的结构如图所示主要分为以下几个部分:用户接口,包括 CLI,Client,WUI。元数据存储,通常是存储在关系数据库如 mysql, derby 中。解释器、编译器、优化器、执...
分类:
其他好文 时间:
2015-08-13 19:51:49
阅读次数:
114
转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329下载hadoophadoop下载地址:http://www.apache.org/dyn...
分类:
其他好文 时间:
2015-08-13 17:10:53
阅读次数:
111
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理大数据(大数据的数据...
分类:
其他好文 时间:
2015-08-13 14:38:41
阅读次数:
244