1.hbase的balance策略是region数量策略,即维持每个regionserver的region数量基本一致,这并未考虑一个table的region可能都落到一个refionserver的不好情况。这就需要开发者自己开发LoadBalancer插件。有三种策略:基于表Table级别的Bal...
分类:
其他好文 时间:
2014-09-21 01:53:19
阅读次数:
237
NoSQL现在风生水起,hbase的使用也越来越广,但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论,在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法,也希望得到更多hbase同行们的建议,:)在运维hbase时,目前我们最为关注的主要是三大方面的状况:1. Clus...
分类:
其他好文 时间:
2014-09-21 01:12:09
阅读次数:
235
单台master的配置hbase.mastermaster:60000这是我们通常配置的,这样就定义了master是的ip和端口。但是当我们需要配置多台master进行,我们只需要提供端口,因为选择真正的master的事情会又zookeeper去处理。多台master的配置hbase.master....
分类:
其他好文 时间:
2014-09-21 01:04:49
阅读次数:
366
HBase中有两张特殊的Table,-ROOT-和.META..META.:记录了用户表的Region信息,它可以有多高region(这的意思是说.META.表可以分 裂成多个region,和用户表一样)-ROOT-:记录了.META.表的Region信息,-ROOT-只有一个region(也就是说...
分类:
其他好文 时间:
2014-09-21 00:25:29
阅读次数:
220
这里面说的read既包括get,也包括scan,实际底层来看这两个操作也是一样的。我们将要讨论的是,当我们从一张表读取数据的时候hbase到底是怎么处理的。分二种情况来看,第一种就是表刚创建,所有put的数据还在memstore中,并没有刷新到hdfs上;第二种情况是,该store已经进行多次的fl...
分类:
其他好文 时间:
2014-09-21 00:08:49
阅读次数:
623
本章介绍用HBase存储、高效查询地理位置信息。
Geohash空间索引
考虑LBS应用中常见的两个问题:1)查找离某地最近的k个地点;2)查找某区域内地点。如果要用HBase实现高效查找,首先要考虑的是空间局部性(Spatial Locality),即位置上相近的点得物理存储在一起。最简单的地理位置数据由两个维度组成:经度X和纬度Y,那么相对应最简单的Rowkey也可以由X和Y组成。Rowk...
分类:
其他好文 时间:
2014-09-19 22:35:00
阅读次数:
449
前期准备(版本匹配):Hadoop 2.x is faster and includes features, such as short-circuit reads, which will help improve your HBase random read profile. Hadoop 2.x...
分类:
其他好文 时间:
2014-09-19 22:22:26
阅读次数:
368
转载:http://blog.csdn.net/hxpjava1/article/details/20043703环境:hadoop:hadoop-2.2.0hbase:hbase-0.96.01.org.apache.hadoop.hbase.client.Put 取消了无参的构造方法 Put.....
分类:
其他好文 时间:
2014-09-19 19:12:35
阅读次数:
243
MySQL官方对于binlog_format参数的说明:http://dev.mysql.com/doc/refman/5.5/en/binary-log-setting.htmlbinlog_format可以动态修改,官网对于动态修改主库配置时提醒谨慎操作,会导致复制关系异常。【主库flush l...
分类:
数据库 时间:
2014-09-19 18:54:05
阅读次数:
494
1. 修改mysql数据库user表中root@%用户的Event权限设置2. 授予该用户所有权限(在服务器本机上执行)3. 刷新权限FLUSH PRIVILEGES
分类:
数据库 时间:
2014-09-19 15:27:25
阅读次数:
186