配置了hbas路径的方法(任何路径下均可执行)
启动集群中所有的regionserver
hbase-daemons.sh start regionserver
启动某个regionserver
hbase-daemon.sh start regionserver
没有配置路径的方法(进到hbase目录下的bin下执行)
启动集群中所有的regio...
分类:
其他好文 时间:
2015-08-13 18:07:57
阅读次数:
106
Table of ContentsRegionServer功能职责租约管理Nonce管理堆内存监控健康检测RegionServer功能职责租约管理HBase的租约管理功能主要应用在scan查询上,如果客户端执行scan操作以后,在60秒内没有将Scanner进行关闭,也没有显示的将租约移除,这时查询租约将会过期,RegionServer会强行关闭与之对应的Scanner,来防止无效连接数过多的情况...
分类:
其他好文 时间:
2015-08-07 11:16:31
阅读次数:
755
一、#Set the right GC options based on the what we are runningdeclare -a server_cmds=("master" "regionserver" "thrift" "thrift2" "rest" "avro" "zookeepe...
分类:
系统相关 时间:
2015-08-04 19:05:46
阅读次数:
150
Table of Contents
Region恢复逻辑
配置参数
Region恢复逻辑
RegionServer出现宕机以后,其上部署的Region将会被Master重新分配处理,由于在宕机前,某些Region的memStore数据可能还没有做flush操作,因此,需要对这部分数据做还原处理,还原过程通过读取HLog文件来实现。
截至到目前为止(1....
分类:
其他好文 时间:
2015-07-31 10:33:51
阅读次数:
120
1 如果机群时间不同步,那么启动子节点RegionServer就会出问题aused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutOfSyncException): ...
分类:
系统相关 时间:
2015-07-29 10:12:00
阅读次数:
204
HBase官方提供了基于Mapreduce的批量数据导入工具:Bulk load和ImportTsv。关于Bulk load大家可以看下我另一篇博文。通常HBase用户会使用HBase API导数,但是如果一次性导入大批量数据,可能占用大量Regionserver资源,影响存储在该Regionserver上其他表的查询,本文将会从源码上解析ImportTsv数据导入工具,探究如何高效导入数据到HBase。...
分类:
其他好文 时间:
2015-07-28 23:12:03
阅读次数:
229
HBase本身提供了很多种数据导入的方式,通常有两种常用方式:
1、使用HBase提供的TableOutputFormat,原理是通过一个Mapreduce作业将数据导入HBase
2、另一种方式就是使用HBase原生Client API
这两种方式由于需要频繁的与数据所存储的RegionServer通信,一次性入库大量数据时,特别占用资源,所以都不是最有效的。了解过HBase底层原理的应该都知道,HBase在HDFS中是以HFile文件结构存储的,一个比较高效便捷的方法就是使用 “Bulk Loading...
分类:
其他好文 时间:
2015-07-25 12:18:18
阅读次数:
142
一、切分和分配大表
HBase中的表是由行和列组成的。HBase中的表可能达到数十亿行和数百万列。每个表的大小可能达到TB级,有时甚至PB级。这些表会切分成小一点儿的数据单位,然后分配到多台服务器上。这些小一点儿的数据单位叫region。托管region的服务器叫RegionServer。一张表由多个小一点的region组成,如图1所示。
图1 多个小一点的region组成一张表
Regi...
分类:
其他好文 时间:
2015-07-17 18:51:09
阅读次数:
130
WAL(Write-Ahead-Log)预写日志是HBase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。在每次Put、Delete等一条记录时,首先将其数据写入到RegionServer对应的HLog文件的过程。
客户端往RegionServer端提交数据的时候,会先写WAL日志,只有当WAL日志写成功以后,客户端才会被告诉提交数据成功,如果写WAL失败会告知...
分类:
其他好文 时间:
2015-07-04 15:34:11
阅读次数:
246
扫描器HBase在扫描数据的时候,使用scanner表扫描器。
HTable通过一个Scan实例,调用getScanner(scan)来获取扫描器。可以配置扫描起止位以及其他的过滤条件。
通过迭代器返回查询结果,使用起来虽然不是很方便,不过并不复杂。但是这里有一点可能被忽略的地方,就是返回的scanner迭代器,每次调用next的获取下一条记录的时候,默认配置下会访问一次RegionServer...
分类:
其他好文 时间:
2015-06-30 20:28:32
阅读次数:
158