netcdf4 ? requests ? py_gd ? openexr ? numpy ? coverage ? mod_wsgi ? thrift ? pims ? setuptools ? rpy2 ? cython ? psycopg ? shapely ? pandas ? pyhdf jupyter ? six ? rasterio ? py...
分类:
编程语言 时间:
2015-10-16 10:16:11
阅读次数:
374
在服务器端,如果仅仅用之前的代码,那么肯定是不行的,参数优化是必须的。 参数优化包含以下几个部分: Accept线程:??? 线程个数 Select Worker线程: 线程个数????? 每个线程的acceptedQueue有界还是无...
分类:
其他好文 时间:
2015-10-15 14:36:33
阅读次数:
387
上篇文章讲了单服务接口的实现,如果有多个接口怎么办? 还好thrift的后续版本提供了,下面就来说下怎么实现, 这里参考了文章: http://blog.csdn.net/hivon/article/details/11681977 服务端 package?service.s...
分类:
其他好文 时间:
2015-10-15 10:15:27
阅读次数:
246
如果采用TThreadedSelectorServer模型的话。 整个网络IO模型基本上就是 Accept Thread Group --- Selector Thread Group --- ExecutorService 假设第2层的Selector拿到一个socket,并且读取了完整的数据,会抛给E...
分类:
其他好文 时间:
2015-10-14 22:08:50
阅读次数:
467
序列化:把结构化的对象转换成字节流,使得能够在系统中或网络中通信需要把数据存储到hadoop的hbase常用序列化系统thrift(hive,hbase)ProtocolBuffer(google)avro
分类:
其他好文 时间:
2015-10-11 19:54:18
阅读次数:
172
对Thrift的一点点理解
这是一篇学习Thrift的笔记,包含了这样几点内容:
简单介绍Thrift
怎样使用Thrift
Thrift整体架构
Thrift中的知识点
struct可以设置默认值
thrift中的序列化机制
thrift中的版本控制
简单介绍Thrift
它是一款RPC通信框架,采用C/S架构,且拥有高效的序列化机制。要使用Thrift...
分类:
其他好文 时间:
2015-10-08 10:38:10
阅读次数:
293
这两天因为工作需要查了一些跨语言的rpc接口。我这里指的是包含序列化和tcp交互的。主要查了一下以下三类:1.ICE 这玩意不支持go,直接放弃。2.GRPC,这玩意刚刚发布,还且全面使用C++11特性,我们生产环境目前还没升级,他依赖于protobuf 3.0.0版本,这个还是beta版,拿过来编...
分类:
编程语言 时间:
2015-09-25 18:04:22
阅读次数:
330
基本类型 bool?:布尔类型(?true?or value),占一个字节 byte:有符号字节 i16:16位有符号整型 i32:32位有符号整型 i64:64位有符号整型 double?:64位浮点数 string:未知编码或者二进制的字符串 注意,thrif...
分类:
其他好文 时间:
2015-09-22 23:48:41
阅读次数:
622
hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property>
??<name>hive.metastore.uris</name>
??<value>thrift://master:9083</value>
??<description>Thrift?uri?for?the?remote?met...
分类:
数据库 时间:
2015-09-22 16:51:01
阅读次数:
231