欢迎访问网易云社区,了解更多网易技术产品运营经验。 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu,kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多,HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品 ...
分类:
其他好文 时间:
2018-11-21 16:20:20
阅读次数:
203
DFS分布式存储不同步的原因大概有如下几种1、dfsreplication服务没开启打开services管理器,找到DFSRepliction和DFSNamespace右键重启即可2、dfsr注册表首先打开你的dfs服务器,然后打开regedit注册表,然后HkeyLocalMachine--system--currentcontrolset---services---DFSR---Paramen
分类:
其他好文 时间:
2018-11-20 17:08:39
阅读次数:
611
介绍鸿鹄云架构【SSO单点登录系统】为所有微服务提供统一的用户认证服务,系统本身属于微服务模式,使用JWT+Redis分布式存储方案,确保不同微服务、系统之间的安全通讯和统一用户校验、认证。在整个服务平台中起着用户枢纽中心的作用。平台基础功能用户注册&登录、用户登录&校验(APP)、用户登录&校验(PC)、用户登出、用户密码修改、用户密码重置运行环境支持开发工具:Eclip
分类:
其他好文 时间:
2018-11-19 20:28:06
阅读次数:
135
介绍鸿鹄云架构【SSO单点登录系统】为所有微服务提供统一的用户认证服务,系统本身属于微服务模式,使用JWT+Redis分布式存储方案,确保不同微服务、系统之间的安全通讯和统一用户校验、认证。在整个服务平台中起着用户枢纽中心的作用。平台基础功能用户注册&登录、用户登录&校验(APP)、用户登录&校验(PC)、用户登出、用户密码修改、用户密码重置运行环境支持开发工具:Eclip
分类:
其他好文 时间:
2018-11-19 19:58:16
阅读次数:
138
将内存作为首要存储介质不是什么新鲜事儿,在对主存的使用上,内存数据网格(In Memory Data Grid,IMDG)与IMDB类似,但二者在架构上完全不同。IMDG特性可以总结为以下几点: 数据是分布式存储在多台服务器上的。 每台服务器都是active模式。 数据模型通常是面向对象和非关系型的 ...
分类:
其他好文 时间:
2018-11-17 19:27:16
阅读次数:
243
memcache介绍 名字 类型 整理 key vachar utf8_general_ci value text utf8_general_ci 使用场景 非持久化存储:对数据存储要求不高 分布式存储:不适用单机 key-value存储:格式简单,不支持list,array等数据格式 安装 方式 ...
分类:
系统相关 时间:
2018-11-12 15:51:47
阅读次数:
187
10月27日下午,2018中国计算机大会上举办了主题“数据中心计算”的技术论坛,一起探讨解决数据中心所面临的挑战。论坛上,阿里云分布式存储团队高级技术专家田磊磊进行了《阿里云文件存储的高性能架构演进之路》的报告。
分类:
其他好文 时间:
2018-11-07 16:34:42
阅读次数:
183
大数据分布式存储的部署模式:分离式or超融合 数据中心内部系统的核心要求是“稳定可靠”,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,故障范围不蔓延。 分离式部署的方式,使得系统与云平台系统相独立,避免了计算和存储争抢CPU/内存/ ...
分类:
其他好文 时间:
2018-11-07 11:24:59
阅读次数:
201
一、hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的、分布式软件平台。它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题。而现在的hadoop更 ...
分类:
其他好文 时间:
2018-11-06 01:02:39
阅读次数:
270
一、分布式存储系统简介 随着信息技术不断的发展,给我们带来便利的同时,不断增加的数据量级、信息之间的连接关联越来越复杂、数据访问的并发量日益增加对I/O的要求越来越高、数据类型越来越复杂等难题也成为信息技术继续高速发展亟需解决的难题。分布式存储系统的出现在很大程度上解决了以上大部分难题。 分布式存储 ...
分类:
其他好文 时间:
2018-11-04 22:53:28
阅读次数:
276