最近发现,长期专注于警务大数据分析与应用以及警务实战信息化平台系统建设的专业公司,湖南航天立博信息技术有限公司(合并了湖南航天理想科技有限公司技术团队)新推出了一种新型数据库系统,SCSDB数据库,即:智能集群方案数据库系统,英文名SmartClusterSolutionDatabase,简称SCSDB。又称:分布式集群数据库系统,或称警博士分布式集群数据库系统。据了解,该特色数据库系统是该公司技
分类:
数据库 时间:
2018-01-10 15:34:04
阅读次数:
210
大家都知道springboot项目都是微服务部署,A服务和B服务分开部署,那么它们如何更新或者获取共有模块的缓存数据,或者给A服务做分布式集群负载,如何确保A服务的所有集群都能同步公共模块的缓存数据,这些都涉及到分布式系统缓存的实现。 前面其实我已经介绍了springboot+mybatis+ehc ...
分类:
编程语言 时间:
2018-01-07 14:28:19
阅读次数:
2679
在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射到真实节点上面,这造成节点个数和数据的紧密关联、后期缺乏灵活扩展。 一致性哈希算法:多增加一层虚拟映射层 ...
分类:
其他好文 时间:
2018-01-05 15:16:10
阅读次数:
240
阅读目录: 1.背景 两年前有机会接触过elasticsearch,但是未做深入学习,只是工作中用到了。越来越发现es是个不错的好东西,所以花了点时间好好学习了下。在学习过程中也发现了一些问题,网上大多资料都很零散,大部分都是实验性的demo,很多问题并没有讲清楚也并没有系统的讲完整一整套方案,所以 ...
分类:
其他好文 时间:
2018-01-02 23:23:43
阅读次数:
295
今天阅读了一下大型网络技术架构这本苏中的分布式缓存一致性hash算法这一节,针对大型分布式系统来说,缓存在该系统中必不可少,分布式集群环境中,会出现添加缓存节点的需求,这样需要保障缓存服务器中对缓存的命中率,就有很大的要求了: 采用普通方法,将key值进行取hash后对分布式缓存机器数目进行取余,以 ...
分类:
编程语言 时间:
2017-12-23 15:59:29
阅读次数:
209
Redis集群架构图 上图蓝色为redis集群的节点。 节点之间通过ping命令来测试连接是否正常,节点之间没有主区分,连接到任何一个节点进行操作时,都可能会转发到其他节点。 1、Redis的容错机制 节点之间会定时的互相发送ping命令,测试节点的健康状态,当节点接受到ping命令后,会返回一个p ...
分类:
其他好文 时间:
2017-12-16 23:10:33
阅读次数:
225
如何使用 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到 ...
分类:
其他好文 时间:
2017-11-29 14:42:24
阅读次数:
129
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决。 ...
分类:
Web程序 时间:
2017-11-17 16:13:53
阅读次数:
152
如何使用 Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到 ...
分类:
编程语言 时间:
2017-11-13 16:31:37
阅读次数:
228
要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。 说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动 ...
分类:
系统相关 时间:
2017-11-09 22:50:48
阅读次数:
421