码迷,mamicode.com
首页 > 其他好文 > 详细

Hive简介及源码编译

时间:2018-06-03 01:00:19      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:Hive

Hive简介:

  • Hive是一个基于Hadoop的数据仓库,可以将结构化数据映射成一张表,并提供类SQL的功能,最初由Facebook提供,使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层,设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据,2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整的SQL功能(本质是将SQL转换为MapReduce),自身最大的缺点就是执行速度慢。Hive有自身的元数据结构描述,可以使用MySql\ProstgreSql\oracle 等关系型数据库来进行存储,但请注意Hive中的所有数据都存储在HDFS中。Hive具有比较好的灵活性和扩展性,支持UDF,自定义存储格式,适合离线数据处理。

Hive体系架构:
技术分享图片

  • 1.用户接口:包括 CLI, Client, WUI。其中最常用的是 CLI,CLI为shell命令行,Cli 启动的时候,会同时启动一个 Hive 副本。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。
    2.元数据存储:通常是存储在关系数据库如 mysql, derby 中
    3.解释器、编译器、优化器、执行器:完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有MapReduce 调用执行。
    4.Hadoop:Hive中数据用 HDFS 进行存储,利用 MapReduce 进行计算。

Hive源码编译:

我们选取CDH版本进行编译,以hive-1.1.0-cdh5.7.0版本为例。
前期准备:
1.配置jdk1.7环境。
2.安装maven。
3.安装hadoop-2.6.0-cdh5.7.0环境(版本号与hive要对应)。
注:前期我使用的是Apache 2.8版本的hadoop,目前已经更改为CDH版本

1.下载并解压源码包hive-1.1.0-cdh5.7.0-src.tar.gz
# 下载地址: http://archive.cloudera.com/cdh5/cdh/5/
[root@hadoop000 ~]# su - hadoop
[hadoop@hadoop000 ~]$ cd source
[hadoop@hadoop000 source]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz
[hadoop@hadoop000 source]$ tar -xzvf hive-1.1.0-cdh5.7.0-src.tar.gz
2.编译
[hadoop@hadoop000 source]$ cd hive-1.1.0-cdh5.7.0
# 需等待一段时间
[hadoop@hadoop000 hive-1.1.0-cdh5.7.0]$ mvn -Phadoop-2 -Pdist -DskipTests -Dmaven.javadoc.skip=true clean package
...
...
[INFO] Hive ODBC .......................................... SUCCESS [  5.811 s]
[INFO] Hive Shims Aggregator .............................. SUCCESS [  0.755 s]
[INFO] Hive TestUtils ..................................... SUCCESS [  1.294 s]
[INFO] Hive Packaging ..................................... SUCCESS [01:41 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 18:22 min
[INFO] Finished at: 2018-06-02T11:37:54+08:00
[INFO] Final Memory: 144M/494M
[INFO] ------------------------------------------------------------------------

# 编译成功 会在源码目录下面的packaging/target目录下面生成一个tar包,相关的hive模块jar包都能在这个tar包里面找到。
文件名称:apache-hive-1.1.0-cdh5.7.0-bin.tar.gz
# 可使用此包来安装Hive,也可在此网站http://archive.cloudera.com/cdh5/cdh/5/ 直接下载相应版本已编译的安装包。

Hive简介及源码编译

标签:Hive

原文地址:http://blog.51cto.com/10814168/2123449

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!