Overview HBase中的一个big table,首先会按行划分成一些region(这些region之间是有序的,由startkey保证),每个region分配到不同的节点进行存储。因此,region是HBase分布式和负载均衡的最小单元。 对每个节点而言,它会对分配到的region是按列族进 ...
分类:
其他好文 时间:
2017-05-30 15:57:21
阅读次数:
186
kafka+storm+hbase实现计算WordCount。 (1)表名:wc (2)列族:result (3)RowKey:word (4)Field:count 1、解决: (1)第一步:首先准备kafka、storm和hbase相关jar包。依赖如下: (2)将kafka发来的数据通过lev ...
分类:
其他好文 时间:
2017-05-29 20:00:24
阅读次数:
355
一. shell命令 1. 进入hbase命令行 ./hbase shell 2. 显示hbase中的表 list 3. 创建user表,包括info、data两个列族 create 'user', 'info', 'data' create 'user', {NAME => 'info', VER ...
分类:
编程语言 时间:
2017-05-23 19:36:25
阅读次数:
173
1、主要功能 提高随机读的性能 2、存储开销 bloom filter的数据存在StoreFile的meta中,一旦写入无法更新,由于StoreFile是不可变的。Bloomfilter是一个列族(cf)级别的配置属性,假设你在表中设置了Bloomfilter,那么HBase会在生成StoreFil ...
分类:
其他好文 时间:
2017-05-05 14:13:26
阅读次数:
289
Hbase的架构原理、核心概念 1.Hbase的表、行、列、列族 2.核心组件: Table和region Table在行的方向上分割为多个HRegion, 一个region由[startkey,endkey)表示,每个HRegion分散在不同的RegionServer中 client作用: 提供用 ...
分类:
其他好文 时间:
2017-04-20 21:25:34
阅读次数:
207
进入hbase命令行./hbaseshell显示hbase中的表list创建user表,包含info、data两个列族create‘users’,‘info’,‘data’//youcanalsousethiscommand://create‘users’,{NAME=>‘info’,VERSIONS=>‘3’}向表中插入信息,rowkey为rk0001,列族info中添加name列标示符,..
分类:
系统相关 时间:
2016-12-14 02:45:50
阅读次数:
196
1、数据样式 写入之前,需要整理以下数据的格式,之后将数据保存到hdfs中,本例使用的样式如下(用tab分开): 2、代码 假设要将以上样式的数据写入到hbase中,列族为cf,列名为colb,可以使用下面的代码(参考) 这段代码使用mapreduce程序对数据做了进一步处理,之后调用相关的api将 ...
分类:
其他好文 时间:
2016-12-11 01:45:05
阅读次数:
265
一、HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的。 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 列族(column family),列的集合。 一张表中有多个行健,一个行健读取出来的是一条记录, ...
分类:
其他好文 时间:
2016-12-10 16:22:12
阅读次数:
193
1.HBase如果加了列限定,如果该列不存在时返回的结果为empty.看下面的代码:Getget=newGet(Bytes.toBytes("100"));
get.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"));这里加入了列限定,也就是只返回列族info下面的name字段。但是如果name字段根本不存在,返回的Re..
分类:
其他好文 时间:
2016-12-09 20:23:54
阅读次数:
192
HRegionServer内部管理了一系列HRegion对象,每个HRegion对 应了table中的一个region,HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储,可以看出每个columnfamily其实就是一个集中的存储单元, ...
分类:
其他好文 时间:
2016-10-15 21:53:49
阅读次数:
755