码迷,mamicode.com
首页 > 其他好文 > 详细

kudu计算公式

时间:2020-12-30 10:41:55      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:tab   大数   复制   master   数据   2tb   包含   大数据   kudu   

kudu计算公式:
假设:
tablet server 32台
master 5台
最大数据存储量为,复制和压缩后,每个tablet server 9.6TB。
每个tablet server管理的tablet为3000,包含tablet的副本。

基于以上限制,可以推测出一下内容:

分区=每行大小*总条数<=3.2G
tablet(限制每一台tablet-server 1500个分区),目前现在总kudu表为1546张表,总共32台tablet-server

3000*32/1546=62,每一张表不能超过62分区包含副本 62/3 20个分区

每一张表总大小,表总分区分的大小
3.2
20=64G,建议每张表总大小不能超过64G

Kudu中存储的总数据量建议为:tablet server总数单个tablet server的数据量=3224TB0.4=614TB/3 =102TB
单个tablet的数据量为:单个tablet server的数据量/每个tablet server中tablet的总数=24TB
0.4/3000=3.2G。

kudu计算公式

标签:tab   大数   复制   master   数据   2tb   包含   大数据   kudu   

原文地址:https://blog.51cto.com/chenhao6/2572129

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!