一个ES索引最大可以支持多少个shard？理论上无限扩展，我推测最大应该是java array的最大长度：Integer.MAX_VALUE。通常业务为了保证查询效率，往往会限制data node上shards的总个数(cluster.routing.allocation.total_shards_ ...
分类：
其他好文 时间：
2020-02-24 00:13:01
阅读次数：
236
[TOC] 张贺，多年互联网工作经验，担任过网络工程师、系统集成工程师、LINUX系统运维工程师，擅长Web集群架构与自动化运维，曾负责国内某电商运维工作。 笔者微信：zhanghe15069028807 一、集群cluster 1、集群的产生 为什么需要集群呢？因为一台服务器性能不足，无法满足大量 ...
分类：
其他好文 时间：
2020-02-23 20:03:24
阅读次数：
81
拉取redis镜像 docker pull redis 创建文件夹 mkdir -p /data/logs mkdir -p /data/redis touch /data/redis/redis.conf touch /data/logs/redis.log 下载redis.conf 修改后替换到 ...
分类：
其他好文 时间：
2020-02-22 21:33:06
阅读次数：
77
K8s相关概念：master/nodemasterMaster是Cluster的大脑，它的主要职责是调度，即决定将应用放在哪里运行，实现高可用，可以运行多个Master。运行的相关组件：KubernetesAPIServer(kube-apiserver)，集群的统一入口，各组件协调者，以RESTfulAPI提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给Etc
分类：
Web程序 时间：
2020-02-21 18:19:51
阅读次数：
92
上篇文章为大家总结了redis命令并讲述了持久化，今天我们来看一下redis的三种集群模式：主从复制，哨兵集群，Cluster集群 本篇文章先介绍redis-cluster，然后再依次介绍它的哨兵集群与主从复制 一、Cluster集群模式概念 redis集群是一个分布式与容错的redis实现、在集群 ...
分类：
其他好文 时间：
2020-02-21 12:37:49
阅读次数：
124
后续会继续更新。 Redis知识点总结 redis特点 安装配置 数据结构 客户端 持久化 淘汰策略和主键失效机制 缓存问题 Redis Sentinal（哨兵）、主从 redis Cluster redis的应用场景及实现 高级功能 性能检测与监控工具 redis特点 基于内存的分布式高性能key ...
分类：
其他好文 时间：
2020-02-21 00:21:07
阅读次数：
110
cluster.name: elasticsearch 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。 node.name: "Franz Kafka" 节点名，默认随机指定一个name列表中名字 ...
分类：
其他好文 时间：
2020-02-20 22:13:54
阅读次数：
66
1、常见的三种数据的集群存储模式 1. full mirror：全量镜像模式，单纯备份模式，各个节点数据相同，都包含了全量数据，仅主节点可写，保证了数据冗余和读的负载均衡。数据安全性高，横向扩展能力差，资源利用率不高。 2. pure sharding：数据分片，每个节点的数据不相同，所有节点中数据 ...
分类：
其他好文 时间：
2020-02-20 19:54:08
阅读次数：
67
[root@bs-k8s-ceph ~]# ceph -s cluster: id: 11880418-1a9a-4b55-a353-4b141e2199d8 health: HEALTH_OK services: mon: 3 daemons, quorum bs-hk-hk01,bs-hk-hk ...
分类：
Web程序 时间：
2020-02-20 17:26:42
阅读次数：
99
分布式锁 借助数据库、Redis集群、Zookeeper集群作为辅助系统。 面临的问题： 1. 锁的一致性问题 ：在集群式辅助系统中，必然会存在锁的并发读，由于集群内部的数据同步存在延迟，不同客户端进程读到的锁可能不一致。 Zookeeper天生支持最终一致性，能在一定程度上满足。 Redison借 ...
分类：
其他好文 时间：
2020-02-20 12:55:41
阅读次数：
57
