首先看一下Thrift的整体架构，如下图： 如图所示，黄色部分是用户实现的业务逻辑，褐色部分是根据thrift定义的服务接口描述文件生成的客户端和服务器端代码框架（前篇2中已分析了thrift service生成代码），红色部分是根据Thrift文件生成代码实现数据的读写操作。红色部分以下是...
分类：
其他好文 时间：
2015-06-24 22:14:45
阅读次数：
255
1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path
/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar
--masterspark://hd1:7077--executor-memory2g--total-..
分类：
其他好文 时间：
2015-06-23 23:23:32
阅读次数：
888
1、生成python用的thrift模块thrift--genpy
/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift(该路径是从hbase的源代码文件中来的)这样会在当前路径生成一个gen-py路径2、安装cdgen-py/hbasepython*.pybuildpython*.pyinstallcd..cp-rhbase/usr/lib/python2.6..
分类：
Web程序 时间：
2015-06-23 18:19:49
阅读次数：
249
Step1yuminstallautomakelibtoolflexbisonpkgconfiggcc-c++Step2curlftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/monkeyiq:/centos6updates/CentOS_CentOS-6/noarch/autoconf-2.69-12.2.noarch.rpm>autoconf-2.69-12.2.noarch.rpmStep3yumins..
分类：
Web程序 时间：
2015-06-23 18:19:21
阅读次数：
161
#pythonfromthriftimportThriftfromthrift.transportimport
TSocketfromthrift.transportimportTTransportfromthrift.protocol
importTBinaryProtocolfromhbaseimportHbasefromhbase.ttypesimport*transport=TSocket.TSocket(‘192.168.137.101‘,9090)transport=TTransport.TBuf..
分类：
编程语言 时间：
2015-06-23 18:17:38
阅读次数：
150
代码生成类解析： Thrift--facebook RPC框架，介绍就不说了，百度，google一大把，使用也不介绍，直接上结构和分析吧。 Hello.thrift文件内容如下：namespace java com.tomsun.thrift.generated.demoservice H...
分类：
其他好文 时间：
2015-06-20 20:44:21
阅读次数：
153
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类：
Web程序 时间：
2015-06-16 14:45:05
阅读次数：
188
Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统（消息、主题）中读取数...
分类：
Web程序 时间：
2015-06-08 16:37:39
阅读次数：
270
thrift 采用IDL（Interface
Definition Language）来定义通用的服务接口，并通过生成不同的语言代理实现来达到跨语言、平台的功能。在thrift的IDL中可以定义以下一些类型：基本数据类型，结构体，容器，异常、服务
1基本类型
bool: 布尔值 (true or false), one bytebyte: 有符号字节i16: 16位有符号整型i32...
分类：
其他好文 时间：
2015-06-01 13:20:11
阅读次数：
210
