redis有三种集群方式:主从复制,哨兵模式和集群。 1.主从复制 主从复制原理: 从服务器连接主服务器,发送SYNC命令; 主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令; 主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送 ...
分类:
其他好文 时间:
2019-01-14 23:11:13
阅读次数:
235
系统数据量达到一定程度后必将采用分库分表的方式来提高系统性能,但传统的分库分表方式也必将带来更高的开发复杂程度。新一代的NewSql及NoSql数据库由于天生的分布式存储基因,既保证了能够横向扩展,又可以避免较高的开发复杂程度。AppBoxFuture框 ...
分类:
移动开发 时间:
2019-01-14 10:49:36
阅读次数:
194
GlusterFS分布式存储系统 一,分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理,存储数据,而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,已经不能满足目前的需求。 分布式文件系统可以有效解决数据的 ...
分类:
其他好文 时间:
2019-01-13 11:41:20
阅读次数:
252
本篇Hbase组件基于CDH5进行安装,安装过程:https://www.cnblogs.com/dmjx/p/10037066.html Hbase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。 Hb ...
分类:
其他好文 时间:
2019-01-10 16:57:56
阅读次数:
129
HBase介绍 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其 ...
分类:
其他好文 时间:
2019-01-09 01:25:17
阅读次数:
417
分布式环境特点 分布性 地域,区域,机房,服务器不同导致分布性 并发性 程序运行中,并发性操作很常见,比如同一个分布式系统中的多个节点,同时访问一个共享资源(数据库,分布式存储) 无序性 进程之间的消息通信,会出现顺序不一致的问题。 分布式环境面临问题 各个服务节点通信 网络本身的不可靠,因此涉及到 ...
分类:
其他好文 时间:
2019-01-08 10:48:45
阅读次数:
159
CDN基本常识以及基础概念1.4服务模式内容分发网络(CDN)是一种新型网络构建方式,它是为能在传统的IP网发布宽带丰富媒体而特别优化的网络覆盖层;而从广义的角度,CDN代表了一种基于质量与秩序的网络服务模式。简单地说,内容分发网络(CDN)是一个经策略性部署的整体系统,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(TrafficManagement
分类:
其他好文 时间:
2019-01-05 10:12:52
阅读次数:
189
分布式理论 一、分布式基本概述 分布式系统是一个内涵极度丰富的领域,单就应用层次而言就设计分布式缓存,分布式存储,分布式文件系统,分布式锁,分布式事务,分布式调度任务,分布式调度计算,分布式消息,分布式采集等。 二、CAP理论 在一个分布式系统(指 互相连接 并 共享数据 的节点的集合)中,当涉及 ...
分类:
其他好文 时间:
2019-01-04 16:10:57
阅读次数:
258
公司要将监控数据存入opentsdb,而opentsdb使用了hbase作为存储。所以想搭建一套高可用的分布式存储来供opentsdb使用。 因为机器有限,所以测试过程中将三台集群的环境安装在docker上。 一:宿主机版本和docker版本 宿主机:Centos7.2 3.10.0-862.14. ...
分类:
其他好文 时间:
2019-01-02 19:27:50
阅读次数:
225
一,分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理,存储数据,而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,已经不能满足目前的需求。 分布式文件系统可以有效解决数据的存储和管理难题,将固定于某个地点的 ...
分类:
其他好文 时间:
2019-01-01 00:16:56
阅读次数:
276