写了一个java程序,需要向hbase中写入大量的数据,但是这个程序执行一半就报错,问题是,此时已经写入了很多数据。查看jps,发现hmaster进程崩溃了。基于以上信息,发现是在程序中,链接hbase后没有释放链接。导致链接达到hbase上限。添加close(),解决问题。
                            
                            
                                分类:
其他好文   时间:
2015-04-21 00:09:50   
                                阅读次数:
171
                             
                    
                        
                            
                            
                                HBase的所有请求调用都是通过RPC的机制进行的,RPCServer监听到请求之后会解析请求内容,然后根据解析的方法以及参数调用服务器端实际的方法,这也是远程代理模式的经典做法,createTable的请求最终实现是在HMaster中的,但是实际的表的建立过程是在CreateTableHandler类中的,接下来主要就HBase中表的建立过程进行详细分析。
1. HMaster的createTab...
                            
                            
                                分类:
其他好文   时间:
2015-04-17 15:49:42   
                                阅读次数:
136
                             
                    
                        
                            
                            
                                一、HBase的安装配置1.1 伪分布模式安装 伪分布模式安装即在一台计算机上部署HBase的各个角色,HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。 首先,准备好HBase的安装包,我这里使用的是HBase-0.94.7的版本,已经上传至百度网盘之中(.....
                            
                            
                                分类:
其他好文   时间:
2015-04-09 23:20:59   
                                阅读次数:
270
                             
                    
                        
                            
                            
                                由于论文工作,想在regionserver的ipcserver和hregionserver等类进行修改源码的工作。所以我需要在我的虚拟机中,我的虚拟机环境是32位centos中安装eclipse,调试Hbase的源码。搭建环境主要步骤基本按照http://www.cnblogs.com/shitou...
                            
                            
                                分类:
系统相关   时间:
2015-03-21 21:09:33   
                                阅读次数:
230
                             
                    
                        
                            
                            
                                本文其实还算不上真正的启动代码解析,本文主要还是从启动流程上分析到startHMaster部分,初次之外本文将就HBase的伪分布式调试方式进行相关的介绍.
我们将源码倒入到Intellij IDE之后会得到如下的代码结构:
这里我们进入hbase-server中在src/main下面的resources中添加hadoop-metrics2-hbase.properties,hbase...
                            
                            
                                分类:
其他好文   时间:
2015-03-21 11:15:01   
                                阅读次数:
237
                             
                    
                        
                            
                            
                                HBase 系统架构图      组成部件说明?   Client:?   使用HBase RPC机制与HMaster和HRegionServer进行通信?   Client与HMaster进行通信进行管理类操作?   Client与HRegionServer进行数据读写类操...
                            
                            
                                分类:
其他好文   时间:
2015-03-10 17:34:09   
                                阅读次数:
157
                             
                    
                        
                            
                            
                                HBase 系统架构图
  
  组成部件说明 
  Client: 
  使用HBase RPC机制与HMaster和HRegionServer进行通信 
  Client与HMaster进行通信进行管理类操作 
  Client与HRegionServer进行数据读写类操作 
  Zookeeper: 
  Zookeeper Quorum存储-ROOT-表地址、HMa...
                            
                            
                                分类:
其他好文   时间:
2015-03-10 13:57:34   
                                阅读次数:
152
                             
                    
                        
                            
                            
                                集群如下:HostName IP Soft Processh1 192.168.1.31 Hadoop,Hbase NameNode(Active),DFSZKFailoverController,HMaster(Active)h2 192.1...
                            
                            
                                分类:
其他好文   时间:
2015-01-20 00:54:29   
                                阅读次数:
250
                             
                    
                        
                            
                            
                                在用华为的hindex-0.94.8时,出现HMaster启动后很短时间内自动关闭的情况,网上查询说是zookeeper的原因,在万般整修无果舍弃了其内部自带的zookeeper集群,自己安装了zookeeper-3.4.6重启后可以正常使用集群。但是出现一个问题,之前的HBase数据库中的表...
                            
                            
                                分类:
其他好文   时间:
2015-01-14 16:46:16   
                                阅读次数:
155
                             
                    
                        
                            
                            
                                hmater负责把region均匀到各个region server 。hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次。每次负载均衡操作可以分为两步:生成负载均衡计划表Assignment Manager 类执行计划表负载均衡方法入口以下代码的Hbase版本为0.96.2在...
                            
                            
                                分类:
其他好文   时间:
2014-12-31 18:01:32   
                                阅读次数:
308