什么是数据库缓存 数据库的数据都存储在磁盘中,在高并发场景下,业务应用对MySQL产生的增删改查操作造成巨大的IO开销和查询压力,这无疑对数据库和服务器都是一种巨大的压力,为了解决此类问题,缓存数据的概念应运而生。 常见的缓存形式:内存缓存、文件缓存。 极大地解决数据库服务器的压力 提高应用数据的响 ...
分类:
数据库 时间:
2021-02-02 10:49:49
阅读次数:
0
如何保证数据写入过程中不丢 数据写入请求达到时,以需要的数据格式组织并写入磁盘的过程叫做数据提交,对应es就是创建倒排索引,维护segment文件 如果我们同步的方式,来处理上述过程,那么系统的吞吐量将很低 如果我们以异步的方式,先写入内存,然后再异步提交到磁盘,则有可能因为机器故障而而丢失还未写入 ...
分类:
其他好文 时间:
2021-02-01 12:49:08
阅读次数:
0
kafka之所以那么快,其中一个很大的原因就是零拷贝(Zero-copy)技术,零拷贝不会kafka的专利,而是操作系统的升级,又比如Netty,也用到了零拷贝。 传统IO kafka的数据是要落入磁盘的,那么必然牵扯到磁盘的IO,传统磁盘IO又叫做缓存IO,效率是很低的,那么为什么效率低下呢?我们 ...
分类:
其他好文 时间:
2021-02-01 11:58:41
阅读次数:
0
内容简介 在Windows中,我们为分区命名,那个名字就是「分区标签」。所以说“分区标签”是给分区的一个名字,让分区更容易被我们记忆。在Linux中,我们也可以为分区设置标签。本文将介绍如何查看和设置分区标签。 注意事项 注意,「磁盘标签」(Disk Label)与「分区标签」(Partation ...
分类:
系统相关 时间:
2021-01-30 12:13:07
阅读次数:
0
从 Docker 迁移到 Docker Swarm,再到 Kubernetes,然后处理了多年来的所有各种 API 更改之后,我非常乐意发现部署中出现的问题和把问题进行修复。 我今天分享下我认为最有用的5条故障排除技巧,以及一些其他的使用技巧。 kubectl –“瑞士军刀” kubectl 就是我 ...
分类:
Web程序 时间:
2021-01-30 12:00:52
阅读次数:
0
1. 问题截图 解决方法 sudo su root 解决问题截图 ...
分类:
其他好文 时间:
2021-01-29 11:56:29
阅读次数:
0
Checkpoint介绍 checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport ...
分类:
其他好文 时间:
2021-01-28 12:03:40
阅读次数:
0
系统的inode数量不够用肿么办? [注意]调整inode数会格式化磁盘,执行前应确定磁盘上没有重要数据或是先备份数据 inode节点中,记录了文件的类型、大小、权限、所有者、文件连接的数目、创建时间与更新时间等重要的信息,还有一个比较重要的内容就是指向数据块的指针。 一般情况不需要特殊配置,如果存 ...
分类:
其他好文 时间:
2021-01-27 13:36:20
阅读次数:
0
引言 在 K8s 集群运营过程中,常常会被节点 CPU 和内存的高使用率所困扰,既影响了节点上 Pod 的稳定运行,也会增加节点故障的几率。为了应对集群节点高负载的问题,平衡各个节点之间的资源使用率,应该基于节点的实际资源利用率监控信息,从以下两个策略入手: 在 Pod 调度阶段,应当优先将 Pod ...
分类:
其他好文 时间:
2021-01-27 13:03:58
阅读次数:
0
在发生故障切换后,经常遇到的问题就是同步报错,数据库很小的时候,dump完再导入很简单就处理好了,但线上的数据库都150G-200G,如果用单纯的这种方法,成本太高,故经过一段时间的摸索,总结了几种处理方法。生产环境架构图目前现网的架构,保存着两份数据,通过异步复制做的高可用集群,两台机器提供对外服 ...
分类:
数据库 时间:
2021-01-26 12:44:04
阅读次数:
0