码迷,mamicode.com
首页 >  
搜索关键字:regionserver    ( 153个结果
启动hbase的regionserver
配置了hbas路径的方法(任何路径下均可执行) 启动集群中所有的regionserver  hbase-daemons.sh start regionserver 启动某个regionserver hbase-daemon.sh start regionserver 没有配置路径的方法(进到hbase目录下的bin下执行) 启动集群中所有的regio...
分类:其他好文   时间:2015-08-13 18:07:57    阅读次数:106
RegionServer功能职责
Table of ContentsRegionServer功能职责租约管理Nonce管理堆内存监控健康检测RegionServer功能职责租约管理HBase的租约管理功能主要应用在scan查询上,如果客户端执行scan操作以后,在60秒内没有将Scanner进行关闭,也没有显示的将租约移除,这时查询租约将会过期,RegionServer会强行关闭与之对应的Scanner,来防止无效连接数过多的情况...
分类:其他好文   时间:2015-08-07 11:16:31    阅读次数:755
linux bash shell之declare
一、#Set the right GC options based on the what we are runningdeclare -a server_cmds=("master" "regionserver" "thrift" "thrift2" "rest" "avro" "zookeepe...
分类:系统相关   时间:2015-08-04 19:05:46    阅读次数:150
Region恢复逻辑
Table of Contents Region恢复逻辑 配置参数 Region恢复逻辑 RegionServer出现宕机以后,其上部署的Region将会被Master重新分配处理,由于在宕机前,某些Region的memStore数据可能还没有做flush操作,因此,需要对这部分数据做还原处理,还原过程通过读取HLog文件来实现。 截至到目前为止(1....
分类:其他好文   时间:2015-07-31 10:33:51    阅读次数:120
Ubuntu 14.10 下HBase错误集
1 如果机群时间不同步,那么启动子节点RegionServer就会出问题aused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutOfSyncException): ...
分类:系统相关   时间:2015-07-29 10:12:00    阅读次数:204
ImportTsv-HBase数据导入工具
HBase官方提供了基于Mapreduce的批量数据导入工具:Bulk load和ImportTsv。关于Bulk load大家可以看下我另一篇博文。通常HBase用户会使用HBase API导数,但是如果一次性导入大批量数据,可能占用大量Regionserver资源,影响存储在该Regionserver上其他表的查询,本文将会从源码上解析ImportTsv数据导入工具,探究如何高效导入数据到HBase。...
分类:其他好文   时间:2015-07-28 23:12:03    阅读次数:229
Bulk Load-HBase数据导入最佳实践
HBase本身提供了很多种数据导入的方式,通常有两种常用方式: 1、使用HBase提供的TableOutputFormat,原理是通过一个Mapreduce作业将数据导入HBase 2、另一种方式就是使用HBase原生Client API 这两种方式由于需要频繁的与数据所存储的RegionServer通信,一次性入库大量数据时,特别占用资源,所以都不是最有效的。了解过HBase底层原理的应该都知道,HBase在HDFS中是以HFile文件结构存储的,一个比较高效便捷的方法就是使用 “Bulk Loading...
分类:其他好文   时间:2015-07-25 12:18:18    阅读次数:142
HBase学习总结(4):HBase的工作原理
一、切分和分配大表 HBase中的表是由行和列组成的。HBase中的表可能达到数十亿行和数百万列。每个表的大小可能达到TB级,有时甚至PB级。这些表会切分成小一点儿的数据单位,然后分配到多台服务器上。这些小一点儿的数据单位叫region。托管region的服务器叫RegionServer。一张表由多个小一点的region组成,如图1所示。 图1 多个小一点的region组成一张表 Regi...
分类:其他好文   时间:2015-07-17 18:51:09    阅读次数:130
HBase的WAL机制
WAL(Write-Ahead-Log)预写日志是HBase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。在每次Put、Delete等一条记录时,首先将其数据写入到RegionServer对应的HLog文件的过程。 客户端往RegionServer端提交数据的时候,会先写WAL日志,只有当WAL日志写成功以后,客户端才会被告诉提交数据成功,如果写WAL失败会告知...
分类:其他好文   时间:2015-07-04 15:34:11    阅读次数:246
HBase扫描器与过滤器
扫描器HBase在扫描数据的时候,使用scanner表扫描器。 HTable通过一个Scan实例,调用getScanner(scan)来获取扫描器。可以配置扫描起止位以及其他的过滤条件。 通过迭代器返回查询结果,使用起来虽然不是很方便,不过并不复杂。但是这里有一点可能被忽略的地方,就是返回的scanner迭代器,每次调用next的获取下一条记录的时候,默认配置下会访问一次RegionServer...
分类:其他好文   时间:2015-06-30 20:28:32    阅读次数:158
153条   上一页 1 ... 10 11 12 13 14 ... 16 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!