码迷,mamicode.com
首页 > 其他好文 > 详细

5G时代面临数据暴增,HDFS将解决数据存储的燃眉之急

时间:2020-09-17 23:40:50      阅读:33      评论:0      收藏:0      [点我收藏+]

标签:ref   bilibili   com   项目   快速   处理   mic   博弈论   连接   

5G时代面临数据暴增,HDFS将解决数据存储的燃眉之急

?

随着互联网5G的到来,快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展,5G时代面临数据暴增,如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点,分布式存储无疑是时代最大的风口。

?

在大趋势的驱动之下,从前两年开始分布式存储项目便不断涌现,但真正能够做到落地应用,并规模发展越来越大的项目却寥寥无几,其中HDFS分布式存储以强者的姿态在市场中独占鳌头。

?

技术图片

HDFS立足于分布式存储+区块链技术,HDFS构建了一个基于Hadoop技术的区块链智能大数据存储系统,它可以提高用户访问效率,节省集群存储空间;作为区块链的基础开发平台,HDFS增加了基于数据可检索性(PoR)增加了区块链存储扩展性,运用博弈论有效地提高了网络的效率和实用性。

?

融入可链接环签名和多重签名,改善了整体分布式存储系统的安全性;同时增加了验证节点,对存储数据的节点进行基于数据可检索性证明(proofs of retrievability,POR)方法的实时检测,并记录更新存储节点稳定性值,依此选择高稳定性节点来储存新产生的数据副本,提高了数据存储的稳定性,有效减少了海量节点的大量存储空间,增加了区块链的储存扩展性。

?

HDFS-硬盘文件分布式公链,结合了区块链的机制,保证了通讯安全,加入门槛低廉,文件和数据可以真正落地,不像市场那些IPFS,只能币流通,无法应用落地。HDFS将会直接改变未来,改变生态使用。技术突破壁垒,降低资源损耗,为市场做出贡献,为世界做出改变,让人类信息永存。

?

廉价的硬盘存储计算机和相关设备均可以加入成为节点

HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。所以只需要你加入节点作为贡献,就能得到奖励机制。

?

技术图片

数据的容错和恢复机制
满足大于N+3保证数据完整性

HDFS设计成能可靠地在集群中大量机器之间存储大量的文件,它以块序列的形式存储文件。文件中除了最后一个块,其他块都有相同的大小。属于文件的块为了故障容错而被复制。当他的节点超过3台以上即便有节点损坏,或者关机都不影响文件的丢失和安全,不像IPFS当节点关机文件也不存在了!

?

通讯协议,安全隐秘。所有的节点都是主动点对点P2P,融合区块链特性和机制。

P2P是一种分布式网络,网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力、 打印机等),这些共享资源需要由网络提供服务和内容,能被其它对等节点(peer)直接访问而无需经过中间实体。 在此网络中的参与者既是资源(服务和内容)提供者(server),又是资源(服务和内容)获取者(client) RPC(Remote Procedure Call)抽象地封装了Client Protocol和DataNode Protocol协议。按照设计, 名字节点不会主动发起一个RPC,它只是被动地对数据节点和客户端发起的RPC作出反馈。

?
技术图片

数据正确性

从数据节点上取一个文件块有可能是坏块,坏块的出现可能是存储设备错误,网络错误或者软件的漏洞。 HDFS客户端实现了HDFS文件内容的校验。 当一个客户端创建一个HDFS文件时, 它会为每一个文件块计算一个校验码并将校验码存储在同一个HDFS命名空间下一个单独的隐藏文件中。 当客户端访问这个文件时,它根据对应的校验文件来验证从数据节点接收到的数据。 如果校验失败,客户端可以选择从其他拥有该块副本的数据节点获取这个块。

?

HDFS站在了时代发展的风口之上,作为分布式存储行业的引领者,目前正在全球快速布局,形成包括边大数据中心、缘计算、云计算的产业集群,并结合区块链技术的分布式存储是时代大势,分布式存储领域的发展有着无限的潜能。将更好地引领传统企业升级转型,推动整个新经济的发展。
作者:asd14587
https://www.bilibili.com/read/cv7578520
出处: bilibili

5G时代面临数据暴增,HDFS将解决数据存储的燃眉之急

标签:ref   bilibili   com   项目   快速   处理   mic   博弈论   连接   

原文地址:https://blog.51cto.com/14882105/2532318

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!