1、生成python用的thrift模块thrift--genpy
/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift(该路径是从hbase的源代码文件中来的)这样会在当前路径生成一个gen-py路径2、安装cdgen-py/hbasepython*.pybuildpython*.pyinstallcd..cp-rhbase/usr/lib/python2.6..
分类：
Web程序 时间：
2015-06-23 18:19:49
阅读次数：
249
本教程记录 spark 1.3.1 版本的thriftserver 的metastore 对接 postgresqlpostgresql 的编译，参考：http://www.cnblogs.com/chenfool/p/4530925.html一 启动postgresql 服务1 首先需要将post...
分类：
数据库 时间：
2015-05-27 13:43:31
阅读次数：
263
当用beeline连接default后，通过use xxx切换到其他数据库，再退出，再次使用beeline -u jdbc:hive2://hadoop000:10000/default -n spark连接到default，此时后台连接的其实还是xxx测试步骤:1、beeline -u jdbc:...
分类：
其他好文 时间：
2014-12-25 17:54:44
阅读次数：
449
2014年9月11日，Spark1.1.0忽然之间发布。笔者立即下载、编译、部署了Spark1.1.0。关于Spark1.1的编译和部署，请参看笔者博客Spark1.1.0 源码编译和部署包生成 。
Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1.0主要的变动有：
增加了JDBC/ODBC Server（ThriftServer），...
分类：
数据库 时间：
2014-09-15 10:05:48
阅读次数：
306
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段：package com.luogankun.spark.sqlimport java.sql.DriverManageri...
分类：
数据库 时间：
2014-09-13 18:42:05
阅读次数：
497
Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。注意：在使用Spark SQL CLI时需要将hive-site.xml配置文件拷贝到$SP...
分类：
数据库 时间：
2014-09-13 17:10:25
阅读次数：
512
SparkSql实际运用：在spark0.9.x中不支持jdbc操作，spark1.1会加入jdbc支持
版本说明：spark-1.1.0+scala-2.10.4+hive-0.12.0
spark1.1的发布正式版：2014/9/11
1、增加start-thriftserver.sh 服务启动，通过jdbc/odbc直接连接
bin/start-thriftser...
分类：
数据库 时间：
2014-09-13 09:25:24
阅读次数：
329
spark1.1相较于spark1.0，最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL，在真正意义上进入了SQL时代。下面先简单介绍其使用，限于时间关系，以后再附上源码分析。
1：ThriftServer和CLI的命令参数
A：令人惊讶的CLI...
分类：
数据库 时间：
2014-09-09 12:39:38
阅读次数：
387
Hive架构1）用户接口： CLI(hive shell)：命令行工具；启动方式：hive 或者 hive --service cli ThriftServer：通过Thrift对外提供服务，默认端口是10000；启动方式：hive --service hiveserver WEBUI(浏览器...
分类：
其他好文 时间：
2014-08-10 01:27:29
阅读次数：
467
