码迷,mamicode.com
首页 > 其他好文 > 详细

hbase 的hdfs目录解析

时间:2020-07-30 19:45:37      阅读:104      评论:0      收藏:0      [点我收藏+]

标签:str   社区   blog   ima   配置   reg   移动   文件格式   version   

Hbase在hdfs上的存储位置,根目录是由配置项hbase.rootdir决定,默认就是"/hbase"

其中hbase master 的webui 由参数hbase.master.info.port决定,一般配置为 60010

 [dip@g3-test-36 ~]$ hadoop fs -ls /hbase
Found 7 items
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/.tmp
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/MasterProcWALs
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/WALs
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/data
-rw-r--r--   3 dip supergroup         42 2020-07-30 15:43 /hbase/hbase.id
-rw-r--r--   3 dip supergroup          7 2020-07-30 15:43 /hbase/hbase.version
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/oldWALs

一、/hbase/.tmp

当对表做创建或者删除操作的时候,会将表move 到该 tmp 目录下,然后再去做处理操作。

二、/hbase/MasterProcWALs

这部分存储的是hbase master的状态日志,仔细搜索了一下相关文章,发现cdh的社区大佬faston发表过一篇文章:《由MasterProcWals状态日志过多导致的HBase Master重启失败问题

需要琢磨一下配置定期清理策略(cdh和apache环境)

技术图片

 

 

 

/hbase/WALs
在该目录下,对于每个RegionServer,都会对应1~n个子目录

技术图片

 

 

 /hbase/oldWALs

当/hbase/WALs中的HLog文件被持久化到存储文件时,它们就会被移动到/hbase/oldWALs

/hbase/hbase.id

集群唯一的id

/hbase/hbase.version

集群的文件格式版本信息

 

hbase 的hdfs目录解析

标签:str   社区   blog   ima   配置   reg   移动   文件格式   version   

原文地址:https://www.cnblogs.com/students/p/13405380.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!