NoSql数据库四大分类 键值存储 列存储 文档数据库 图形数据库 NoSQL的特点 易扩展 灵活的数据模型 大数据量，高性能 高可用 Redis 读10w/s 写8w/s Redis的应用场景 缓存 任务队列 网站访问统计 应用排行榜 数据过期处理 分布式集群架构中的session分离 ...
分类：
数据库 时间：
2019-05-02 14:26:32
阅读次数：
116
一、MySql介绍 MySQL作为世界上使用最为广泛的数据库之一，免费是其原因之一。但不可忽略的是它本身的功能的确很强大。随着技术的发展，在实际的生产环境中，由单台MySQL数据库服务器不能满足实际的需求。 此时数据库集群就很好的解决了这个问题了。采用MySQL分布式集群，能够搭建一个高并发、负载均 ...
分类：
数据库 时间：
2019-04-23 09:31:49
阅读次数：
159
对于实现分布式乐观锁非常重要。如果锁了，突然宕机了，锁是需要自动释放的。所以这锁在etcd里是需要生命期的。过期演示：packagemainimport("context""fmt""go.etcd.io/etcd/clientv3""time")funcmain(){var(configclientv3.Configclient*clientv3.Clienterrerrorleaseclien
分类：
其他好文 时间：
2019-04-20 17:08:32
阅读次数：
488
etcd是将数据存储在集群中的高可用k-v存储。允许应用实时监听存储中的k-v变化。能容忍单点故障，能够应对网络分区。(raft是一个分布式协议，管理的是日志；etcd管理的是k-v，把k-v放到日志里，kv就编程分布式集群了)(调用者写入请求发给leader请求写入k-v，leader会将日志实时向follower们复制，leader不会立即返回给调用者，会马上往集群follower做日志拷贝。
分类：
其他好文 时间：
2019-04-19 21:28:21
阅读次数：
255
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的... ...
分类：
编程语言 时间：
2019-04-15 20:16:57
阅读次数：
210
Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和?executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管 ...
分类：
其他好文 时间：
2019-04-13 10:30:43
阅读次数：
140
生产环境中的redis绝大多数是以集群形态运行的，这篇博文简要介绍分布式集群的原理、优势，然后描述配置过程。 redis集群的原理 redis集群的原理简要介绍如下 redis集群的搭建过程 这里用6个实际来搭建集群，分为三组，每组包含一个主节点和一个从节点。搭建过程如下 安装集群插件 准备6个节点 ...
分类：
其他好文 时间：
2019-04-07 20:27:42
阅读次数：
198
用来测试，我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上，如果有条件建议大家把NameNode单独放在一台机器上，因为NameNode是集群的核心承载压力是很大的。hadoop版本：Hadoop-2.7.4； had ...
分类：
其他好文 时间：
2019-03-31 13:35:26
阅读次数：
201
分布式：将不同的业务分布在不同的地方，这就构成了一个分布式的系统。（如下图所示） 假设由三个系统A、B、C构成的一个分布式系统（A作为主系统），那么会存在如下的问题——系统A是这个分布式系统的“脸面”，用户直接访问，当访问量大的时候要么是速度慢，要么直接挂掉，并且系统A只有一份，所以会引发单点失败。 ...
分类：
其他好文 时间：
2019-03-30 10:41:24
阅读次数：
149
