码迷,mamicode.com
首页 > 编程语言 > 详细

分布式存储系统可靠性系列五:副本放置算法 & CopySet Replication

时间:2018-09-20 15:57:09      阅读:164      评论:0      收藏:0      [点我收藏+]

标签:targe   云服务器   运营   文献   block   设计   .com   特定   tag   

本文来自网易云社区

作者:孙建良


在分布式存储系统 中说明了,在一定情况下,copyset的数量不是越多越好,在恢复时间确定的情况下,找到合适的copyset的数量可以降低数据丢失的概率。

在分布式存储系统可靠性系列文章分布式存储系统可靠性-设计模式一文中也总结道:

为了提高存储系统数据可靠性,首先在系统允许的成本范围内选择合适的副本数,再次在系统设计中我们首先优先考虑加快数据恢复时间,在此基础上减小系统的copyset数量。使得在既定的成本下达到尽可能高的可靠性。

其实在业界也已经有团队在这方面有过实践和经营总结。《Copysets: Reducing the Frequency of Data Loss in Cloud Storage》,这篇paper是斯坦福大学的学生在facebook HDFS集群上作实验,为了有效降低数据丢失概率,数据放置算法,从原来的Random Replicaiton更改为copyset Replication 算法,实验结果说明可以将FaceBook HDFS集群1%节点故障时的数据丢失概率从22.8%降低道0.78%

  • Motivation: 降低数据丢失概率

  • Innovation: 减少copyset数量可以降低数据丢失概率

  • Implementation: copyset Replication

  • Evaluation: 在Facebook HDFS集群1%节点故障时,22.8% to 0.78%

以下总结分析3种较为典型的副本分布策略,即 Random Replication、Randon Relication With Failure Domain、CopySet Replication,并简单分析这些策略情况下的数据丢失概率。

1 Random Replication

技术分享图片

如上为典型的副本随机放置策略,1个大文件分为很多chunk(或称为block),chunk的大小比如64M, chunk的放置并没有什么限制,每个chunk数据的放置基本是按照随机策略进行,当然也可能会考虑容量的均衡,但是基本上是属于一种随机策略。

在R副本,节点数为N的集群中:

  • 集群放置方式(即最大copyset数量) K = C(N, R)

  • R个节点故障:C(N, R)

  • R个节点故障时,丢数据概率:Min(K, #chunk) / C(N, R) = 1

  • 如果chunk很多,概率接近于1

2 Random Replication With Failure Domain

技术分享图片

如上这种机架感知的副本放置策略情况下,主要的设计原因为保障数据可用性,在一个机架端点或者故障情况下,还有其他机架上的数据还是可用的。如图中所述,放置策略为:

  • 一个副本放置在本节点

  • 第二个副本放置在remote Rack的 节点上

  • 第三个副本放置哎remote Rack 的另外一个节点上

  • 如果还有其他副本,其他副本随机放置

在R副本,节点数为N,故障域数量为N的集群中:

  • 集群放置方式(即最大copyset数量):K = C(Z, 2)  C(N/Z, 1)  C(N/Z, R-3)

  • R个节点故障:C(N, R)

  • R个节点故障时,丢数据概率:Min(K,#chunk) / C(N, R)

3 CopySet Replicaitions

从上面2中放置策略可以基本得出较为单一的结论:

  • 放置方式越多,数据越分散,发生R节点故障时,数据丢失概率越大。

当然并不是说放置方式越少越好,最小的方式直接组织磁盘为RAID 0 mirror 方式,但是这种情况下数据恢复时间较长,从而会进一步加大数据丢失概率。

这里先不讨论,恢复时间和数据分散 在什么样子的搭配情况下会得到最优的情况。只探讨在固定恢复时间情况下,如何有效控制数据打散程度,得到最好的可靠性。

技术分享图片

恢复速度与scatter width成正相关,所谓scatter width:

scatter width: 一块盘上的数据所对应的副本数据会打散到其他盘上,所谓scatter,就是所有这些副本数据所对应的盘的数量。scatter width 越大,参与进行数据恢复的节点越多,恢复速度越快,所以固定恢复速度情况下,是可以算出究竟需要多大的scatter width。

scatter width 确定情况下,如何副本放置算法如何确保磁盘的scatter width?

接下来就是轮到CopySet Replication 算法出场了。

其实算法原理很节点,看下下面这张图就成,算法根据系统节点数,和副本数量,进行多个轮次的计算,每一轮次把所有节点按照副本数划分为 N/R 个copyset。每次确保其中的copyset 不与当前和之前所有轮次中已经产生的copyset相同,最后数据写入的时候,选择一个copyset 写入即可。 由于每个排列会吧S(Scatter Width)  增加R-1,所以 算法执行P = S/(R-1) 次, K(CopySet数量) = P  (N/R) = S/(R-1) (N/R)技术分享图片

技术分享图片

显然相比前两种策略,CopySet Replication在保障恢复时间的基础上能够得到最佳的数据分布策略。

另外在随机放置情况下,其实如果使用小文件合并成大文件的存储策略,可以通过控制大文件的大小,从而控制每个磁盘上大文件的数量,比如100G一个文件,8T盘上的最大文件存储数量也就是8T/100G = 80个文件,显然也就是能够很好的控制一个数据盘的数据打散程度,但是相对而言CopySet Replication 更多的是一种较为通用的算法,而这种算法更多的是适用于特定构架的分布式存储系统,即小文件合并成大文件。

4 参考文献



云硬盘是网易云提供的数据持久化服务,为云服务器和容器服务提供弹性块存储设备。


网易云免费体验馆,0成本体验20+款云产品!

更多网易研发、产品、运营经验分享请访问网易云社区


相关文章:
【推荐】 数据分析中,用户行为分析最重要的3个点

分布式存储系统可靠性系列五:副本放置算法 & CopySet Replication

标签:targe   云服务器   运营   文献   block   设计   .com   特定   tag   

原文地址:https://www.cnblogs.com/163yun/p/9680705.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!