Hbase提供了hbck命令来检查各种不一致问题。hbck的名字仿效了HDFS的fsck命令,后者是一个用于检查HDFS中不一致问题的工具。下面这段非常易懂的介绍出自于hbck的源程序。 检查数据在Master及RegionServer的内存中状态与数据在HDFS中的状态之间的一致性。 HBase的 ...
分类:
其他好文 时间:
2017-05-18 16:45:12
阅读次数:
312
在hive运行list或者其他命令出现:org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing表示:master和regionserver的时间不一样修改:1)yuminstallntp-y
2)ntpdatecn.pool.ntp.org也可以开机自动修改时间:vi/etc/rc.d/rc.local
添加一行ntpdatecn.pool.ntp.org
分类:
Web程序 时间:
2017-04-25 21:24:00
阅读次数:
193
Hbase的架构原理、核心概念 1.Hbase的表、行、列、列族 2.核心组件: Table和region Table在行的方向上分割为多个HRegion, 一个region由[startkey,endkey)表示,每个HRegion分散在不同的RegionServer中 client作用: 提供用 ...
分类:
其他好文 时间:
2017-04-20 21:25:34
阅读次数:
207
hbase性能调优 标签: hbase 性能调优 | 发表时间:2014-05-17 15:10 | 作者:无尘道长 分享到: 出处:http://www.iteye.com 分享到: 一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了 ...
分类:
其他好文 时间:
2017-03-23 20:01:42
阅读次数:
141
背景 某天凌晨四点左右,HBase RegionServer 宕机自动拉起,查看日志发现是HDFS 在进行HA切换,15次重试仍连不上可写的active,于是挂了。所以根本问题是hdfs。 日志定位 通过日志定位,发现JournalNode一直在抛错,几乎打满了日志: 该链接CDH专家表示 ([So ...
分类:
其他好文 时间:
2017-02-28 13:32:00
阅读次数:
470
在hbase中,读业务是非常频繁的。很多操作都是客户端根据meta表定位到具体的regionserver然后再查询region中的具体的数据。但是现在问题来了,一个region由一个memstore以及多个filestore组成,memstore类似缓存在服务器内存中,可以提高插入的效率,当memstore达到一定大小(..
分类:
其他好文 时间:
2017-01-15 11:57:32
阅读次数:
322
HBase 数据读写流程 2016-10-18 杜亦舒 读数据 HBase的表是按行拆分为一个个 region 块儿,这些块儿被放置在各个 regionserver 中 假设现在想在用户表中获取 row key 为 row0001 的用户信息 要想取得这条数据,就需要先找到含有此条记录的 regio ...
分类:
其他好文 时间:
2017-01-08 03:43:14
阅读次数:
204
hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase?java.io.tmpdir/hbase?{user.name}; hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hba ...
分类:
其他好文 时间:
2016-12-24 19:17:55
阅读次数:
342
Observer协处理器通常在一个特定的事件(诸如Get或Put)之前或之后发生,相当于RDBMS中的触发器。Endpoint协处理器则类似于RDBMS中的存储过程,因为它可以让你在RegionServer上对数据执行自定义计算,而不是在客户端上执行计算。 本文是以上两者的简单实例,使用的环境:环境 ...
分类:
其他好文 时间:
2016-12-23 07:47:31
阅读次数:
294
版权声明:本文由熊训德原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/221 来源:腾云阁 https://www.qcloud.com/community Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统, ...
分类:
其他好文 时间:
2016-12-12 22:21:50
阅读次数:
219