#Hadoop 分布式计算平台，同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8，引入纠删码，重写shell脚本，支持超过两个NameNode， ...
分类：
其他好文 时间：
2021-04-27 15:04:12
阅读次数：
0
容量+90%性能+50%成本-60%，Infortrend无与伦比的分布模式Infortrend普安科技为横向扩展NAS系统开发了独有的分布模式。与传统的数据保护策略（纠删码和副本）相比，CS的容量使用率提高90%，性能提高50%，同时确保企业数据的安全。横向扩展NAS系统CS，通过添加更多的节点进行横向扩展，因此容量和性能会随着系统节点数量的增加而线性增长。除了传统的纠删码和副本策略之外，CS还
分类：
其他好文 时间：
2020-09-17 18:43:06
阅读次数：
30
嵌入式存储系统，集成一体化集群，性能更具优势采用自主研发的嵌入式架构，极简的IO处理指令，使得硬件发挥出最大性能。产品软件硬件一体化设计，将软件的优势与硬件优势发挥至最好状态，单套系统最高可提供100+GBps读写性能。一体化的设计，也有效避免管理不统一及安装复杂等问题，减少了后期维护工作。三种分布式模式并存，Infortrend专用模式下性能突显除纠删码、副本模式之外，InfortrendCS产
分类：
其他好文 时间：
2020-02-25 16:12:01
阅读次数：
75
1、专用模式，实现90%空间利用率纠删码及副本模式是在分布式存储系统中广泛应用的横向扩展模式，副本模式存储空间损耗最大，其次纠删码模式，但Infortrend自主研发的专用扩展模式，优于前两者,能最大化的实现高IO吞吐率，将空间利用率提升至90%，RAID空间占比小,剩余可用空间多,也就间接减少了硬件采购需求，成为节约成本的一大助力。2、三重混合系统模式。按需选用InfortrendCS又可称之为
分类：
其他好文 时间：
2020-02-20 15:22:42
阅读次数：
81
Infortrend的分布式NAS集群EonStorCS具有三种横向扩展模式：纠删码、副本、以及NASScale-Out（本文当中称为“专用模式”）。其中专用模式是Infortrend独有的。在专用模式下，CS的空间利用率更高，实际使用空间可以达到原始容量的90%。在成本限定的情况下，用户可以使用更多的空间。并且性能更高，CS单节点的读性能可以达到3GB/s，单节点的写可以达到2.4GB/s，单线
分类：
编程语言 时间：
2019-12-19 23:40:00
阅读次数：
124
纠删码（Erasure Code）中的数学知识 背景 在数据存储领域，Hadoop采用三副本策略有效的解决了存储的容错问题，但是三副本策略中磁盘的利用效率比较低，仅有33%，而且副本带来的成本压力实在太高，后来适时的出现了纠删码的概念。当冗余级别为n+m时，将这些数据块分别存放在n+m个硬盘上，这样 ...
分类：
其他好文 时间：
2019-11-09 19:57:47
阅读次数：
127
[toc] 缓存池简介 缓存池原理 ceph的缓存分层特性是在ceph的F版当中正式发布的。所谓的缓存分层其实就是在更快的磁盘（通常是ssd）上创建一个存储池。然后将这个存储池放置在常规的复制池或者纠删码池的前端充当缓存。这样所有的客户端I/O操作都首先由缓存池处理，之后再将数据写回到现有的数据存储 ...
分类：
其他好文 时间：
2019-06-25 10:10:09
阅读次数：
202
作者：独笔孤行@taocloudminio是开源对象存储产品，具有简单、稳定、高性能特性。本文将近minio的基本配置的一些方法。minio有单点运行、纠删码、分布式纠删码三种方式。单点运行配置简单，只需启动minio服务并指定相关数据目录即可。在生产环境中常用的纠删码和分布式纠删码两种，纠删码类型是minio在单节点服务器配置多个数据盘作为数据存放目录的配置方式。分布式纠删码是minio跨节点配
分类：
其他好文 时间：
2019-01-15 00:42:59
阅读次数：
1967
本文由云+社区发表 做为大数据生态系统中最重要的底层存储文件系统HDFS，为了保证系统的可靠性，HDFS通过多副本的冗余来防止数据的丢失。通常，HDFS中每一份数据都设置两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越来越明显：传统的 ...
分类：
其他好文 时间：
2019-01-08 15:06:49
阅读次数：
150
你肯定听过Hadoop，对就是那头奔跑的小象。 Hadoop作为大数据时代代表性的解决方案被大家所熟知，它主要包含两部分内容： HDFS分布式文件存储 MapReduce分a布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩展性，高吞吐量，高可靠性 ...
分类：
其他好文 时间：
2018-08-23 02:14:30
阅读次数：
159
