1 Hbase日常运维1.1 监控Hbase运行状况1.1.1 操作系统1.1.1.1 IO 群集网络IO,磁盘IO,HDFS IOIO越大说明文件读写操作越多。当IO突然增加时,有可能:1.compact队列较大,集群正在进行大量压缩操作。2.正在执行mapreduce作业可以通过CDH前台查看整...
分类:
其他好文 时间:
2014-12-09 13:48:38
阅读次数:
11902
HBASE 基本结构一。overview1. hbase NOSQL 不错,hbase 就是某种类型的nosql 数据库,唯一的区别就是他支持海量的数据。 hbase的基本功能: 1) 强一致性的读写,而非“最终一致性”(eventually consistent)的数据仓库。基于此,hbase非....
分类:
其他好文 时间:
2014-12-09 13:46:13
阅读次数:
514
一、shell 查询hbase 查询相当简单,提供了get和scan两种方式,也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表,用sql语句自动生成mapreduce进行。但是这种简单,有时为了达到目的,也不是那么顺手。至少和sql查询方式相差较大。hbase 提供了很多过滤器,可对...
分类:
其他好文 时间:
2014-12-09 13:43:40
阅读次数:
269
本文基于HBase-0.94.1分析HMaster的主要类成员.
HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master.
HMaster的主要类成员如下:
1.ZooKeeper侦听
这些类都继承自ZookeeperListener.
/**************...
分类:
其他好文 时间:
2014-12-08 19:42:14
阅读次数:
332
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持
我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!
特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hado...
分类:
Web程序 时间:
2014-12-08 12:28:20
阅读次数:
224
华为在HBTC 2012上由其高级技术经理Anoop Sam John透露了其二级索引方案,这在业界引起极大的反响,甚至有人认为,如果华为早点公布这个方案,hbase的某些问题早就解决了。其核心思想是保证索引表和主表在同一个region server上。更新:目前该方案华为已经开源,详见:https...
分类:
其他好文 时间:
2014-12-08 11:56:31
阅读次数:
326
出自:http://blog.csdn.net/zhouleilei/article/details/12577091hbase-env.sh 添加如下内容export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_JMX_BASE -Xmx2000...
分类:
系统相关 时间:
2014-12-08 02:01:13
阅读次数:
250
在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer...
分类:
Web程序 时间:
2014-12-08 00:43:08
阅读次数:
462
删除hbase表region块脚本文件hua.txt格式:CHAT_INFO,1318153079100530000314050,1318173760068.991ca04ff164c3f7987a9d93e0f744f5.CHAT_INFO,1318156265075530000260366,13...
分类:
其他好文 时间:
2014-12-07 14:59:34
阅读次数:
140
在用kettle开发时常会出现 Error occured while trying to connect to the database 错误,但是仔细观察日志,引起这个错误的原因不尽相同。...
分类:
数据库 时间:
2014-12-05 19:28:25
阅读次数:
830