1、生成python用的thrift模块thrift--genpy
/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift(该路径是从hbase的源代码文件中来的)这样会在当前路径生成一个gen-py路径2、安装cdgen-py/hbasepython*.pybuildpython*.pyinstallcd..cp-rhbase/usr/lib/python2.6..
分类:
Web程序 时间:
2015-06-23 18:19:49
阅读次数:
249
本教程记录 spark 1.3.1 版本的thriftserver 的metastore 对接 postgresqlpostgresql 的编译,参考:http://www.cnblogs.com/chenfool/p/4530925.html一 启动postgresql 服务1 首先需要将post...
分类:
数据库 时间:
2015-05-27 13:43:31
阅读次数:
263
当用beeline连接default后,通过use xxx切换到其他数据库,再退出,再次使用beeline -u jdbc:hive2://hadoop000:10000/default -n spark连接到default,此时后台连接的其实还是xxx测试步骤:1、beeline -u jdbc:...
分类:
其他好文 时间:
2014-12-25 17:54:44
阅读次数:
449
2014年9月11日,Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署,请参看笔者博客Spark1.1.0 源码编译和部署包生成 。
Spark1.1.0中变化较大是sparkSQL和MLlib,sparkSQL1.1.0主要的变动有:
增加了JDBC/ODBC Server(ThriftServer),...
分类:
数据库 时间:
2014-09-15 10:05:48
阅读次数:
306
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段:package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类:
数据库 时间:
2014-09-13 18:42:05
阅读次数:
497
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便;当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意:在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类:
数据库 时间:
2014-09-13 17:10:25
阅读次数:
512
SparkSql实际运用:在spark0.9.x中不支持jdbc操作,spark1.1会加入jdbc支持
版本说明:spark-1.1.0+scala-2.10.4+hive-0.12.0
spark1.1的发布正式版:2014/9/11
1、增加start-thriftserver.sh 服务启动,通过jdbc/odbc直接连接
bin/start-thriftser...
分类:
数据库 时间:
2014-09-13 09:25:24
阅读次数:
329
spark1.1相较于spark1.0,最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL,在真正意义上进入了SQL时代。下面先简单介绍其使用,限于时间关系,以后再附上源码分析。
1:ThriftServer和CLI的命令参数
A:令人惊讶的CLI...
分类:
数据库 时间:
2014-09-09 12:39:38
阅读次数:
387
Hive架构1)用户接口: CLI(hive shell):命令行工具;启动方式:hive 或者 hive --service cli ThriftServer:通过Thrift对外提供服务,默认端口是10000;启动方式:hive --service hiveserver WEBUI(浏览器...
分类:
其他好文 时间:
2014-08-10 01:27:29
阅读次数:
467