hbase0.94.0版本中,对于region的split方式引入了一个非常方便的SplitPolicy,通过这个SplitPolicy,可以主动的干预控制regionsplit的方式。在org.apache.Hadoop.hbase.regionserver包中,可以找到这么几个自带的splitPolicy:ConstantSizeRegionSplitPolicy,IncreasingToUpper..
分类:
其他好文 时间:
2016-05-09 14:31:45
阅读次数:
251
RegionServer与Master的时间不一致造成的。由错误内容可以看出两台机器之间最大的误差时间为30000ms,一旦超过这个值便无法启动。 解决办法:同步RegionServer与Master的时间,最好周期性同步,具体方法请参考Linux时间同步设置: http://www.cnblogs ...
分类:
其他好文 时间:
2016-05-08 16:44:04
阅读次数:
795
hbase是一个nosql型数据库,本文我们会分析一下客户的数据是通过什么样的路径写入到hbase的。
HBase作为一种列族数据库,其将相关性较高的列聚合成一个列族单元,不同的列族单元物理上存储在不同的文件(HFile)内。一个表的数据会水平切割成不同的region分布在集群中不同的regionserver上。客户端访问集群时会首先得到该表的region在集群中的分布,之后的数据交换由客户端和...
分类:
其他好文 时间:
2016-04-29 15:12:30
阅读次数:
172
网易视频云:HBase —— RegionServer宕机案件侦查...
分类:
其他好文 时间:
2016-04-27 14:19:07
阅读次数:
199
今天配置hbase的时候发现有几台机器的regionserver启不来。报错例如以下: at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorA ...
分类:
其他好文 时间:
2016-03-31 20:18:21
阅读次数:
185
Region是HBase数据存储和管理的基本单位。 一个表中可以包含一个或多个Region。 每个Region只能被一个RS(RegionServer)提供服务,RS可以同时服务多个Region,来自不同RS上的Region组合成表格的整体逻辑视图。 http://blog.csdn.net/vic
分类:
其他好文 时间:
2016-03-10 18:36:59
阅读次数:
203
在生产环境中很有可能有那么几个Region比较大,但是都运行在同一个Regionserver中。这个时候就需要手动将region移动到负载低的Regionserver中。步骤:1、找到要移动的region,记录红框的id值,这个是唯一的region ID2.查看RegionServer列表,并记录i...
分类:
移动开发 时间:
2016-03-08 13:16:49
阅读次数:
292
预分Region 与 不预分Region 的测试:1 不预分Region: 23~29秒插入100W数据 并且蛋疼的是每次都写入一个 RegionServer 且 只在一个 Region 相当于人为制造的网络风暴。2 预分Region(3节点分了3个Region) 写入 18~19秒 100W 数据...
分类:
其他好文 时间:
2016-03-01 12:47:01
阅读次数:
839
转自:http://blog.csdn.net/chlaws/article/details/16918913在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是...
分类:
Web程序 时间:
2016-01-26 00:18:46
阅读次数:
183
转自:http://www.cnblogs.com/nexiyi/p/hbase_config_94.html目的是看下生产环境配置与默认配置情况。hbase.hregion.max.filesize:100Ghbase.regionserver.hlog.blocksize:512Mhbase.r...
分类:
其他好文 时间:
2016-01-12 21:36:00
阅读次数:
256