码迷,mamicode.com
首页 > 数据库 > 详细

sparksql与hive整合

时间:2017-05-29 17:22:14      阅读:233      评论:0      收藏:0      [点我收藏+]

标签:title   sdn   stand   分享   style   png   sed   bsp   启动   

参考文献:

http://blog.csdn.net/stark_summer/article/details/48443147

 

 

hive配置

编辑 $HIVE_HOME/conf/Hive-site.xml,增加如下内容:

 

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://master:9083</value>
  <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

 

技术分享

 

 

启动hive metastore

启动 metastore:

hive   --service metastore &

技术分享

 

 

 

查看  metastore:

jobs

技术分享

 

 

关闭 metastore:

$kill %1

kill %jobid,1代表job id

技术分享

 

spark配置

将 $HIVE_HOME/conf/hive-site.xml copy或者软链 到 $SPARK_HOME/conf/
将 $HIVE_HOME/lib/mysql-connector-java-5.1.12.jar copy或者软链到$SPARK_HOME/lib/

copy或者软链$SPARK_HOME/lib/ 是方便spark standalone模式使用

 

 

 

 

 

启动spark-sql

技术分享

 

 

 

技术分享

 

 

 

 

 

 

注:

如果没有启动  hive metastore  则会:

技术分享

 

sparksql与hive整合

标签:title   sdn   stand   分享   style   png   sed   bsp   启动   

原文地址:http://www.cnblogs.com/devilmaycry812839668/p/6918225.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!