本文基于HBase-0.94.1分析HMaster的主要类成员.
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.
HMaster的主要类成员如下:
1.ZooKeeper侦听
这些类都继承自ZookeeperListener.
/**************...
分类:
其他好文 时间:
2014-12-08 19:42:14
阅读次数:
332
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持
我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!
特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hado...
分类:
Web程序 时间:
2014-12-08 12:28:20
阅读次数:
224
华为在HBTC 2012上由其高级技术经理Anoop Sam John透露了其二级索引方案,这在业界引起极大的反响,甚至有人认为,如果华为早点公布这个方案,hbase的某些问题早就解决了。其核心思想是保证索引表和主表在同一个region server上。更新:目前该方案华为已经开源,详见:https...
分类:
其他好文 时间:
2014-12-08 11:56:31
阅读次数:
326
出自:http://blog.csdn.net/zhouleilei/article/details/12577091hbase-env.sh 添加如下内容export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_JMX_BASE -Xmx2000...
分类:
系统相关 时间:
2014-12-08 02:01:13
阅读次数:
250
在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer...
分类:
Web程序 时间:
2014-12-08 00:43:08
阅读次数:
462
删除hbase表region块脚本文件hua.txt格式:CHAT_INFO,1318153079100530000314050,1318173760068.991ca04ff164c3f7987a9d93e0f744f5.CHAT_INFO,1318156265075530000260366,13...
分类:
其他好文 时间:
2014-12-07 14:59:34
阅读次数:
140
起因: 使用happybase 访问hbase 时
def scan(self, row_start=None, row_stop=None, row_prefix=None,
columns=None, filter=None, timestamp=None,
include_timestamp=False, batch_size=1...
分类:
移动开发 时间:
2014-12-05 14:24:06
阅读次数:
197
今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家:目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表,一个外部表是基于这个Hbase表的,另一个是单纯的基于hdfs的hive原生表,然后把外部表的数据导入到原生表(临时),然后通过hive将临时表里面的数据导出到mysql...
分类:
数据库 时间:
2014-12-05 09:15:17
阅读次数:
438
1.1. 快速入门本手册描述了如何使用本地的文件系统来搭建一个单独的Hbase实例。它会引导你创建表,通过hbase 的shell脚本插入数据,和清空以及关闭你的hbase实例。在我们继续进行之前, 确保你满足一下的先决条件。检查IPHBase需要将ip地址设置为127.0.0.1。 Ubuntu和...
分类:
其他好文 时间:
2014-12-04 19:56:10
阅读次数:
133
背景: 某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种...
分类:
其他好文 时间:
2014-12-04 18:18:51
阅读次数:
343