什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。 不知道各位大佬对上面的名词了解多少，通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的存储系统，DAS,SAN,NAS,OSD是一种存储模型。稍微科普一下 ...
分类：
其他好文 时间：
2018-08-22 00:23:22
阅读次数：
165
存储领域来看，数据冗余机制其实这几十年来没有太多进展，RAID，副本一直是当仁不让的最终选择。而近几年，尤其是规模较大的应用场景下，纠删码越来越多的出现在选择的视野范围，成为RAID，副本之外的第三种选择，因此也获得了越来越多的关注。 纠删码（Erasure Code)本身是一种编码容错技术，最早是 ...
分类：
其他好文 时间：
2017-11-09 19:38:15
阅读次数：
433
1 Ceph简述 Ceph是一种性能优越，可靠性和可扩展性良好的统一的分布式云存储系统，提供对象存储、块存储、文件存储三种存储服务。Ceph文件系统中不区分节点中心，在理论上可以实现系统规模的无限扩展。Ceph文件系统使用了较为简单的数据地址管理方法，通过计算的方式直接得到数据存放的位置。其客户端程 ...
分类：
其他好文 时间：
2017-11-07 11:20:47
阅读次数：
397
原文地址：http://www.cnblogs.com/pcxie/p/7750074.html 本文译者水平有限，如发现问题请批评指正 Jerasure 2.0:为方便存储相关应用开发的一个基于C开发的纠删码库 版本2.0 James S.Plank Kevin M.Greenan 技术报告 UT ...
分类：
其他好文 时间：
2017-10-29 21:53:57
阅读次数：
462
摘要 云存储系统的三个指标： 高可靠性，低存储开销，高读写性能。这三个指标是没有办法同一时候满足的，许多时候须要进行tradeoff。 副本系统和纠删码是两种在存储系统中广泛使用的策略，它们在保证高可靠性的前提下，选择了不同极端的tradeoff。 副本存储开销大，但性能较好。纠删码存储开销低。但性 ...
分类：
其他好文 时间：
2017-08-13 23:34:40
阅读次数：
633
原文：http://www.cnblogs.com/me115/p/6366374.html Pool是存储对象的逻辑分区，它规定了数据冗余的类型和对应的副本分布策略；支持两种类型：副本（replicated）和 纠删码（ Erasure Code）；目前我们公司内部使用的Pool都是副本类型（3副 ...
分类：
其他好文 时间：
2017-07-14 12:00:35
阅读次数：
237
作者介绍：徐祥曦，七牛云工程师，独立开发了多套高性能纠删码/再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。前言：在上篇《如何选择纠删码编码引擎》中，我们简单了解了Reed-SolomonCodes（RS码）的编／解码过程，以及编码引擎的评判标准..
分类：
其他好文 时间：
2017-05-24 22:46:53
阅读次数：
495
作者介绍： 徐祥曦，七牛云工程师，独立开发了多套高性能纠删码/再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。 前言： 在上篇《如何选择纠删码编码引擎》中，我们简单了解了 Reed-Solomon Codes（RS 码）的编／解码过程，以及编码引擎的评判标准。但并没有就 ...
分类：
其他好文 时间：
2017-05-24 14:39:34
阅读次数：
229
1.纠删码将数据存储空间节省50% hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3， hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式 2.Shell脚本重写 （1）增加了参数冲突检测，避免重复定义和冗余参数 （ ...
分类：
其他好文 时间：
2017-05-08 12:37:53
阅读次数：
209
作者介绍：徐祥曦，七牛云工程师，独立开发了多套高性能纠删码/再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。前言：随着数据的存储呈现出集中化（以分布式存储系统为基础的云存储系统）和移动化（互联网移动终端）的趋势，数据可靠性愈发引..
分类：
其他好文 时间：
2017-04-14 10:48:16
阅读次数：
580
