2016马上要结束了，回顾一下这一年对hbase的学习历程。 1，年初hbase的状态 使用场景：主要是用来存储业务线的mysql表，增量同步到hbase，然后每天晚上全量导入hdfs做离线计算。 hbase集群状态：除了调大了regionserver的heap size。其他基本没有动。经常发生的 ...
分类：
其他好文 时间：
2016-12-11 02:34:04
阅读次数：
204
研发环境下搭建了一套基于CDH5的大数据平台。在重启服务器后发现HBase组件启动异常，如图HBaseMaster运行状况不良RegionServer运行状况不良所有的RegionServer角色全部停止，启动时报错。查看角色日志Masterrejectedstartupbecauseclockisoutofsync
org.apache.hadoop.hbase.Cl..
分类：
其他好文 时间：
2016-12-05 02:55:00
阅读次数：
408
HBase自带的很多工具可用于管理、分析、修复和调试，这些工具一部分的入口是hbase shell 客户端，另一部分是在hbase的Jar包中。 目录： hbck hfile 数据备份与恢复 hbck: hbck 工具用于Hbase底层文件系统的检测与修复，包含Master、RegionServer ...
分类：
其他好文 时间：
2016-09-11 16:57:51
阅读次数：
226
RPC是hbase中Master，RegionServer和Client三者之间通信交流的纽带。了解hbase的rpc机制能够为通过源码学习hbase奠定良好的基础。因为了解了hbase的rpc机制能够很快通过debug深入理解hbase各种机制（比方说flush，compaction，scan等请 ...
分类：
其他好文 时间：
2016-09-05 17:11:59
阅读次数：
241
设置参数hbase.rpc.timeout <property><name>hbase.regionserver.lease.period</name><value>180000</value></property> <property> <name>zookeeper.session.timeou ...
分类：
编程语言 时间：
2016-08-21 22:56:11
阅读次数：
364
HBASE概念补充 HBase的工作方式： hbase中的表在行的方向上分隔为多个HRegion，分散在不同的RegionServer中 这样做的目的是在查询时可以将工作量分布到多个RegionServer中以提高速度 region由[startkey,endkey)表示 HRegion是hbase ...
分类：
其他好文 时间：
2016-08-21 00:43:17
阅读次数：
134
hbase中hmaster和regionserver的端口冲突问题java.lang.RuntimeException:FailedconstructionofRegionserver:classorg.apache.hadoop.hbase.regionserver.HRegionServeratorg.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(HRegionServer.java:2458)a..
分类：
其他好文 时间：
2016-08-16 14:49:24
阅读次数：
454
Compaction有两种类型： (1)minor compaction:属于轻量级。将多个小的storefile文件重写为数量较少的大storefile文件，减少存储文件的数量，实际上是个多路归并的过程。它不会删除被标记为“删除”的数据和以往过期的数据，并且执行过一次minor合并操作后，还会有多 ...
分类：
系统相关 时间：
2016-08-04 00:02:02
阅读次数：
275
存储结构HBase构架如上图所示，一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的HRegionServerHBase集群上的各个节点，一个数据量很大的表可能被保存在不同RegionServer上HLogHBase将数据存储在各个HRegionServer上，每个HRegionServer都有一个HLog文件记录该节点上数据的CRUD操作记录
图中错误的地...
分类：
其他好文 时间：
2016-07-13 16:41:53
阅读次数：
209
转自：http://www.cnblogs.com/bdifn/p/3801737.html 问题导读：1.如何防止热点？2.如何预分区？扩展：为什么会产生热点存储？ HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey ...
分类：
其他好文 时间：
2016-05-23 21:22:01
阅读次数：
384
