Nginx Redis redis分片 redis哨兵 redis集群 等 常用命令 1.1.1 Nginx命令 前提:nginx的命令执行,必须在nginx的根目录中完成 命令: 1.启动nginx start nginx 2.重启nginx nginx -s reload 3.关闭nginx n ...
分类：
其他好文 时间：
2019-12-13 21:53:25
阅读次数：
110
滴滴自研分布式 NoSQL 数据库 Fusion 的演进之路 余汶龙 阅读数：74342019 年 1 月 23 日 11:13 Fusion 是滴滴自研的分布式 NoSQL 数据库，完全兼容 Redis 协议，支持超大规模数据持久化和高性能读写。在滴滴内部支撑了数百个业务，具有 PB 级别的数据存 ...
分类：
数据库 时间：
2019-12-13 17:56:30
阅读次数：
113
核心原理： 该项目核心就是文件分块上传。前后端要高度配合，需要双方约定好一些数据，才能完成大文件分块，我们在项目中要重点解决的以下问题。 * 如何分片； * 如何合成一个文件； * 中断了从哪个分片开始。 如何分，利用强大的js库，来减轻我们的工作，市场上已经能有关于大文件分块的轮子，虽然程序员的天 ...
分类：
Web程序 时间：
2019-12-13 17:51:26
阅读次数：
78
查看单节点Elasticsearch健康状态 使用head插件查看集群状态 从上面截图可以看出存在5个unassigned的分片，新建索引blog5的时候，分片数为5，副本数为1，新建之后集群状态成为yellow，其根本原因是因为集群存在没有启用的副本分片，我们先来看一下官网给出的副本分片的介绍： ...
分类：
其他好文 时间：
2019-12-13 12:08:30
阅读次数：
95
前面使用了哨兵集群搭建单个分片高可用的结构，实现了主从复制和故障转移，但是没有实现分布式。接下来使用Redis集群搭建，实现哨兵集群没有实现的分布式高可用。 redis-cluster搭建需求 下面准备6个redis节点，搭建如图所示的三主三从分布式redis集群，实现两两互联，以master800 ...
分类：
其他好文 时间：
2019-12-13 00:16:45
阅读次数：
126
消息组接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 @ "TOC" 1、案情回顾 1.1 集群现状 集群信息如下： 例如业务主体名 topic_dw_test_by_ ...
分类：
其他好文 时间：
2019-12-12 22:22:23
阅读次数：
94
1 安装软件包 \ yum y install sysstat sar命令 目录 1.查看CPU使用情况 sar u 2.将统计结果保存到文件 sar o & sar f 3.查看平均负载 sar q 4.查看内存使用情况 sar r 5.查看系统swap分区统计情况 sar W 6.查看IO和传递 ...
分类：
其他好文 时间：
2019-12-11 13:22:21
阅读次数：
150
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次 ...
分类：
Web程序 时间：
2019-12-10 15:25:58
阅读次数：
403
1. 集群节点及服务分配 说明： 1.1. 在每个节点上启动两个clickhouse服务(后面会详细介绍如何操作这一步)，一个数据分片，一个数据备份，为了确保宕机数据一致性，数据分片和数据备份不能同一节点，比如gawh201上的shard不能备份在gawh201的replica，如果这样做，当gaw ...
分类：
其他好文 时间：
2019-12-10 13:08:05
阅读次数：
328
需求：项目要支持大文件上传功能，经过讨论，初步将文件上传大小控制在500M内，因此自己需要在项目中进行文件上传部分的调整和配置，自己将大小都以501M来进行限制。 第一步： 前端修改 由于项目使用的是BJUI前端框架，并没有使用框架本身的文件上传控件，而使用的基于jQuery的Uploadify文件 ...
分类：
Web程序 时间：
2019-12-10 12:56:20
阅读次数：
81
