在本机上对线下HBase集群做了初步的写性能测试,下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的,即每一个Put一次RPC写,不过看到这种情况下写速度慢,考虑到机器、网络环境的差别的话,估计能上1K
启用buffer刷写功能的话,要避免未flush的put记录丢失。(HTable在close的时候最后是会自动flush,我们在写服务节点故障的时候也需要flush一次)
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升,但如果要...
分类:
其他好文 时间:
2014-06-19 10:16:00
阅读次数:
296
Thrift做的事情就是跨语言的分布式RPC,通过编写.thrift文件声明接口类和方法,客户端调用定义的方法,Server端实现定义的接口。虽然的确RPC是需要网络请求,但不像Netty这种NIO网络编程库(还要关注很多数据传输中的细节,比如数据如何序列化、如何在字节数组里建立结构、如何在两端解析字节数组、如何处理Handler里的事件状态、如何把多个Handler按顺序串起来),Thrift掩盖了数据传输这件事情,开发者使用的时候就是纯纯的RPC的使用感受。...
分类:
其他好文 时间:
2014-06-15 19:32:46
阅读次数:
2553
一直想写一份技术文档,但由于自感能力有限而无从下笔,最近做了个关于Android平台下实现与C语言的通讯来操作蓝牙模块的项目,中间碰到了许多问题,也在网上查了许多资料,在完成主要功能后,也有一些人在网上问我一些问题,这里写下这篇文档算是一个阶段性的总结。如果反响好,后续将会发上Android Stub与新版Android HAL的学习文档。
由于蓝牙模块是串口通讯机制,使用C语言来访问,而And...
分类:
移动开发 时间:
2014-06-10 14:35:38
阅读次数:
318
网络通信协议java通信协议本文比较了RMI,Hessian,Burlap,Httpinvoker,Web
service等5种通讯协议的在不同的数据结构和不同数据量时的传输性能。1.
简介RMI是java语言本身提供的远程通讯协议,稳定高效,是EJB的基础。但它只能用于JAVA程序之间的通讯。He...
分类:
编程语言 时间:
2014-06-10 12:54:29
阅读次数:
452
RMI:Remote Method
Invocation是java编程语言里,一种用于实现远程过程调用的应用程序编程接口。它使客户机上运行的程序可以调用远程服务器上的对象。参考:http://zh.wikipedia.org/wiki/Java_RMIJBI:Java
Business Integr...
分类:
其他好文 时间:
2014-06-10 10:16:20
阅读次数:
223
import java.awt.*;public class FrameDemo { public
static void main(String[] args) { // TODO Auto-generated method stub Frame
f=new...
分类:
其他好文 时间:
2014-06-10 09:27:25
阅读次数:
235
原文地址:http://www.cnblogs.com/jifeng/archive/2011/07/20/2111183.html一、综述本文比较了RMI,Hessian,Burlap,Httpinvoker,web
service等5种通讯协议的在不同的数据结构和不同数据量时的传输性能。RMI是...
分类:
编程语言 时间:
2014-06-09 18:53:38
阅读次数:
227
1.SOAP简介1.1应用背景对于应用程序开发来说,使程序之间进行因特网通信是很重要的。目前的应用程序通过使用远程过程调用(RPC)在诸如DCOM与CORBA等对象之间进行通信,但是HTTP不是为此设计的。RPC会产生兼容性以及安全问题;防火墙和代理服务器通常会阻止此类流量。通过HTTP在应用程序间...
分类:
其他好文 时间:
2014-06-09 18:01:37
阅读次数:
181
// Arrangevar stub =
MockRepository.GenerateStub();stub.Stub(x =>
x.StringArgString(Arg.Is.Equal("input"))).Return("output");// Actvar
firstCallResult...
分类:
其他好文 时间:
2014-06-08 19:23:49
阅读次数:
176
运行HBase时常会遇到个错误,我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:
其他好文 时间:
2014-06-08 03:02:50
阅读次数:
395