Compaction会从一个region的一个store中选择一些hfile文件进行合并。合并说来原理很简单，先从这些待合并的数据文件中读出KeyValues，再按照由小到大排列后写入一个新的文件中。之后，这个新生成的文件就会取代之前待合并的所有文件对外提供服务。HBase根据合并规模将Compac ...
分类：
其他好文 时间：
2018-11-05 14:01:05
阅读次数：
88
上一篇中学习hbase的client连接操作，这一篇文章中学习hbase的写操作。 regionServer结构： 首先学习一下regionServer的构成，从图中可以很清楚的看出，regionServer包含了Hlog，HRegion，MemStore，store，StoreFile，HFile ...
分类：
其他好文 时间：
2018-10-24 10:55:06
阅读次数：
215
HBase 数据读写过程描述 我们熟悉的在 Hadoop 使用的文件格式有许多种，例如： Avro：用于 HDFS 数据序序列化与 Parquet：常见于 Hive 数据文件保存在 HDFS中 HFile HFile 是 HBase 使用的一种柱状存储文件，非常适合随机和实时读写。 HFile 文件 ...
分类：
其他好文 时间：
2018-08-24 16:04:24
阅读次数：
206
1.概述 在《HBase查询优化》一文中，介绍了基于HBase层面的读取优化。由于HBase的实际数据是以HFile的形式，存储在HDFS上。那么，HDFS层面也有它自己的优化点，即：Short-Circuit Local Reads。本篇博客笔者将从HDFS层面来进行优化，从而间接的提升HBase ...
分类：
其他好文 时间：
2018-08-12 15:42:27
阅读次数：
188
HFile结构 截止hbase 1.0.2版本，hfile已经有3个版本，要深入了解hfile的话，还是要从第一个版本开始看起。 hfile v1 Data Block：保存表中的数据，这部分可以被压缩 Meta Block：（可选）保存用户自定义的kv对，可以被压缩。 File Info ：Hfi ...
分类：
其他好文 时间：
2018-06-10 15:12:25
阅读次数：
205
转自：https://blog.csdn.net/u014297175/article/details/50456147 Compact作用 当MemStore超过阀值的时候，就要flush到HDFS上生成一个HFile。因此随着不断写入，HFile的数量将会越来越多，根据前面所述，HFile数量过 ...
分类：
其他好文 时间：
2018-05-17 16:51:06
阅读次数：
278
HBase的region的概念，在逻辑上和table是1:1的关系；但是region在物理实现上对应的是HFile，于是就存在一个region的分割的逻辑，其实似乎region的物理实现HFile的分割。 那么HFile的分割之后数据是一分为二了，那么未来向HFile中插入数据的时候怎么知道向那个H ...
分类：
其他好文 时间：
2018-04-29 23:56:48
阅读次数：
1464
常用工具 文件修复 hbck 文件查看 hfile WAL查看工具 hlog 压缩测试工具 compressTest（字段前缀编码以及block压缩设置后进行测试） 数据迁移工具copyTable 导出工具：export 导入工具：import 日志回放：WALPlayer region和regio ...
分类：
其他好文 时间：
2018-04-15 18:04:58
阅读次数：
172
第二章 入门 HBase写路径： 增加新行和修改已有的行，内部机制是一样的。 写入的时候，会写到预写日志（WAL）和MemStore中。 MenmStore是内存里的写入缓冲区。填满后，会将数据刷写到硬盘里，生成一个HFile，HFile是HBase的低层存储格式。 一个列簇可以有多个HFile，但 ...
分类：
其他好文 时间：
2018-03-26 23:40:52
阅读次数：
347
HFILE=`who -m | awk '{print $1}'`readonly HISTFILE=/var/history/$HFILE-$USER-$UID.logreadonly HISTFILESIZE=50000readonly HISTSIZE=10000readonly HISTTI ...
分类：
系统相关 时间：
2018-02-02 11:33:25
阅读次数：
220
