码迷,mamicode.com
首页 >  
搜索关键字:分布式 hadoop 集群    ( 51515个结果
HBase写性能初步测试
在本机上对线下HBase集群做了初步的写性能测试,下面对测试内容做详细说明。 批量写性能提升不少 线上应用最好是禁用buffer刷写功能的,即每一个Put一次RPC写,不过看到这种情况下写速度慢,考虑到机器、网络环境的差别的话,估计能上1K 启用buffer刷写功能的话,要避免未flush的put记录丢失。(HTable在close的时候最后是会自动flush,我们在写服务节点故障的时候也需要flush一次) Rowkey哈希后性能有小量提升 Rowkey Hash之后对写性能的确有小量提升,但如果要...
分类:其他好文   时间:2014-06-19 10:16:00    阅读次数:296
什么是分布式系统
?? 什么是分布式系统 分布式系统有多个含义: 1)表示计算机科学的一个研究领域,研究方向。这个层面的分布式系统比较学术,不是本文讨论的对象。 2)工程领域的实际使用的分布式系统。分布式系统是互联网应用的基石,是底层的支撑平台。本文讲的分布式系统指这个层面。 互联网应用的特点是:高并发,海量数据。互联网应用的用户数是没有上限的(取决于其开放特性),这也是和传统应用的本质区别。高并...
分类:其他好文   时间:2014-06-19 10:08:44    阅读次数:399
Hadoop 分布式环境搭建
Hadoop 分布式环境搭建一、前期环境安装概览IPHost NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode, DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类:其他好文   时间:2014-06-16 07:43:06    阅读次数:214
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:其他好文   时间:2014-06-16 06:14:38    阅读次数:297
Apache Thrift使用总结
Thrift做的事情就是跨语言的分布式RPC,通过编写.thrift文件声明接口类和方法,客户端调用定义的方法,Server端实现定义的接口。虽然的确RPC是需要网络请求,但不像Netty这种NIO网络编程库(还要关注很多数据传输中的细节,比如数据如何序列化、如何在字节数组里建立结构、如何在两端解析字节数组、如何处理Handler里的事件状态、如何把多个Handler按顺序串起来),Thrift掩盖了数据传输这件事情,开发者使用的时候就是纯纯的RPC的使用感受。...
分类:其他好文   时间:2014-06-15 19:32:46    阅读次数:2553
更换oracle 集群网卡(Changing a Network Interface)
?? 更换oracle 集群网卡(Changing a Network Interface) 如果换网卡前后 网卡名,ip,网关,子网掩码都不变的话,集群层面不许要做额外的操作! 一下操作为更换网卡后使用新的网卡名 1、确保所有集群节点都是active 的 olsnodes -s [grid@vmrac1 ~]$ olsnodes -s vmrac1  Active vmr...
分类:数据库   时间:2014-06-15 09:55:03    阅读次数:291
负载均衡技术全攻略
转自:http://www.blogjava.net/carter0618/archive/2007/10/16/153131.html大量的负载均衡相关文档链接,在这里收集起来,以备后用负载均衡技术2005-08-20shenghuafen集群的负载均衡技术2005-04-04liumyong使用...
分类:其他好文   时间:2014-06-13 19:18:52    阅读次数:286
Git 常用命令
Git是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码,管理私人的文档和源代码也有很多优势。 本来想着只把最有用、最常用的 Git 命令记下来,但是总觉得这个也挺有用、那个也用得着,结果越记越多。
分类:其他好文   时间:2014-06-13 17:44:36    阅读次数:233
Zookeeper 分布式环境搭建
Zookeeper 分布式环境搭建一、前期环境安装概览IPHost Name Software 192.168.23.128 ae01JDK 1.7192.168.23.129ae02JDK 1.7192.168.23.130ae03JDK 1.7若使用虚拟机安装,可以安装samba, smb...
分类:其他好文   时间:2014-06-13 17:27:08    阅读次数:206
HBase 分布式环境搭建
HBase分布式环境搭建一、前期环境安装概览IPHost NameSoftwareNode192.168.23.128ae01JDK 1.7, Zookeeper-3.4.5HMaster192.168.23.129ae02JDK 1.7,Zookeeper-3.4.5 HRegionServer1...
分类:其他好文   时间:2014-06-13 17:01:24    阅读次数:142
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!