在本机上对线下HBase集群做了初步的写性能测试,下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的,即每一个Put一次RPC写,不过看到这种情况下写速度慢,考虑到机器、网络环境的差别的话,估计能上1K
启用buffer刷写功能的话,要避免未flush的put记录丢失。(HTable在close的时候最后是会自动flush,我们在写服务节点故障的时候也需要flush一次)
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升,但如果要...
分类:
其他好文 时间:
2014-06-19 10:16:00
阅读次数:
296
??
什么是分布式系统
分布式系统有多个含义:
1)表示计算机科学的一个研究领域,研究方向。这个层面的分布式系统比较学术,不是本文讨论的对象。
2)工程领域的实际使用的分布式系统。分布式系统是互联网应用的基石,是底层的支撑平台。本文讲的分布式系统指这个层面。
互联网应用的特点是:高并发,海量数据。互联网应用的用户数是没有上限的(取决于其开放特性),这也是和传统应用的本质区别。高并...
分类:
其他好文 时间:
2014-06-19 10:08:44
阅读次数:
399
Hadoop 分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode,
DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类:
其他好文 时间:
2014-06-16 07:43:06
阅读次数:
214
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:
其他好文 时间:
2014-06-16 06:14:38
阅读次数:
297
Thrift做的事情就是跨语言的分布式RPC,通过编写.thrift文件声明接口类和方法,客户端调用定义的方法,Server端实现定义的接口。虽然的确RPC是需要网络请求,但不像Netty这种NIO网络编程库(还要关注很多数据传输中的细节,比如数据如何序列化、如何在字节数组里建立结构、如何在两端解析字节数组、如何处理Handler里的事件状态、如何把多个Handler按顺序串起来),Thrift掩盖了数据传输这件事情,开发者使用的时候就是纯纯的RPC的使用感受。...
分类:
其他好文 时间:
2014-06-15 19:32:46
阅读次数:
2553
??
更换oracle 集群网卡(Changing a Network Interface)
如果换网卡前后 网卡名,ip,网关,子网掩码都不变的话,集群层面不许要做额外的操作!
一下操作为更换网卡后使用新的网卡名
1、确保所有集群节点都是active 的
olsnodes -s
[grid@vmrac1 ~]$ olsnodes -s
vmrac1 Active
vmr...
分类:
数据库 时间:
2014-06-15 09:55:03
阅读次数:
291
转自:http://www.blogjava.net/carter0618/archive/2007/10/16/153131.html大量的负载均衡相关文档链接,在这里收集起来,以备后用负载均衡技术2005-08-20shenghuafen集群的负载均衡技术2005-04-04liumyong使用...
分类:
其他好文 时间:
2014-06-13 19:18:52
阅读次数:
286
Git是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码,管理私人的文档和源代码也有很多优势。
本来想着只把最有用、最常用的 Git 命令记下来,但是总觉得这个也挺有用、那个也用得着,结果越记越多。
分类:
其他好文 时间:
2014-06-13 17:44:36
阅读次数:
233
Zookeeper 分布式环境搭建一、前期环境安装概览IPHost Name Software
192.168.23.128 ae01JDK 1.7192.168.23.129ae02JDK 1.7192.168.23.130ae03JDK
1.7若使用虚拟机安装,可以安装samba, smb...
分类:
其他好文 时间:
2014-06-13 17:27:08
阅读次数:
206
HBase分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7,
Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5
HRegionServer1...
分类:
其他好文 时间:
2014-06-13 17:01:24
阅读次数:
142