文章讲到的说 redis 集群指的是 redis-cluster 集群方式问题 ：redis-cluster 数据是分片的，那么是如何分片的，增加和减少节点如何处理的redis 使用了一种叫 hash slot 的方式而非一致性hash 算法，增加和减少节点将会迁移某个节点的数据。redis-clu... ...
分类：
其他好文 时间：
2020-05-12 17:03:30
阅读次数：
80
这里只写后端的代码，基本的思想就是，前端将文件分片，然后每次访问上传接口的时候，向后端传入参数：当前为第几块文件，和分片总数 下面直接贴代码吧，一些难懂的我大部分都加上注释了： 上传文件实体类： 看得出来，实体类中已经有很多我们需要的功能了，还有实用的属性。如MD5秒传的信息。 public cla ...
分类：
Web程序 时间：
2020-05-11 18:18:18
阅读次数：
75
在丢包率0.3%的情况下，mongodb的replicaSet发生了比较严重的问题。表现为同步速率大幅下降，然后产生延迟。有的已经超过2-3个小时，造成有些打到延迟mongodb上面的数据库请求无法反应数据库的最新更改 ...
分类：
数据库 时间：
2020-05-11 09:11:38
阅读次数：
85
Mongodb 搭建高可用集群（分片+副本集） 分片与副本集的区别？ 在上一篇我们学习了集群配置--副本集的配置, 副本集是集群配置的方式, 分片也是集群配置的方式, 那么这两种方式的区别是什么? 副本集（replica Set） 一个副本集中每一个节点上的数据都相同（从节点复制主节点数据），保证数 ...
分类：
其他好文 时间：
2020-05-10 23:06:09
阅读次数：
101
日常工作中很多场景下需要用到分布式锁，例如：任务运行（多个节点同一时刻同一个任务只能在一个节点上运行（分片任务除外）），交易请求接收（前端交易请求发送时，可能由于两次提交，后端需要识别出这是一个交易）等，怎么样实现一个分布式锁呢？一般有：zookeeper、redis、database等三种实现方式 ...
分类：
其他好文 时间：
2020-05-10 21:30:23
阅读次数：
67
关于redis的相关总结 1.什么是redis? 2. 缓存中间件——Memcache和redis的区别？ Memcache： 代码层次类似哈希，不支持简单数据类型，不支持分片，不支持主从分布，不支持持久化存储。 redis 数据类型丰富，支持主从分布，支持分片，支持持久化存储 3.为什么redis ...
分类：
其他好文 时间：
2020-05-10 18:59:54
阅读次数：
65
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2020-05-09 17:01:18
阅读次数：
63
Refresh及Flush乍一看，Refresh和Flush操作的通用目的似乎是相同的。 两者都用于使文档在索引操作后立即可供搜索。 在Elasticsearch中添加新文档时，我们可以对索引调用_refresh或_flush操作，以使新文档可用于搜索。 要了解这些操作的工作方式，您必须熟悉Luce ...
分类：
其他好文 时间：
2020-05-08 17:56:24
阅读次数：
85
一.限制单个index在单个节点上的总shard数。index.routing.allocation.total_shards_per_node一般在冷热分离的场景种，冷数据会设置副本，热数据为了保证写入速度，只有主分片。当以均衡index中的shard数为目的，设置了该限制后，若冷数据节点数不够，... ...
分类：
其他好文 时间：
2020-05-08 17:50:24
阅读次数：
244
1.1 Node节点维度 参考博客：https://www.jianshu.com/p/b50d7fdbe544 1、多节点的集群方案 1. 路由一个文档到一个分片中：当索引一个文档的时候，文档会被存储到一个主分片中。 2. Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？实际上 ...
分类：
其他好文 时间：
2020-05-07 15:11:30
阅读次数：
70
