mq的作用主要是用来解耦，削峰，异步， 增加MQ,系统的复杂性也会增加很多， 也会带来其他的问题，比如MQ挂了怎么办，怎么保持数据的幂等性 幂等性问题通俗点讲就是保证数据不被重复消费，同时数据也不能少， 也就是数据一致性问题。 下面是MQ丢失的3种情况 1，生产者发送消息至MQ的数据丢失 解决方法: ...
分类：
其他好文 时间：
2020-08-04 14:12:11
阅读次数：
86
数据一致性问题：消费一致性和存储一致性 例如：一个leader 写入 10条数据，2个follower（都在ISR中），F1、F2都有可能被选为Leader,例如选F2 .后面Leader又活了。可能造成每个副本数据不一致 F1 8条 F2 9条 LEO:每个副本的最后一个offset。例如 F1的 ...
分类：
其他好文 时间：
2020-08-03 00:49:16
阅读次数：
120
许多场景中，数据一致性是一个比较重要的话题，在单机环境中，我们可以通过Java提供的并发API来解决；而在分布式环境(会遇到网络故障、消息重复、消息丢失等各种问题)下要复杂得多，常见的解决方案是分布式事务、分布式锁等。
本文主要探讨如何利用Zookeeper来实现分布式锁。
分类：
其他好文 时间：
2020-07-31 19:20:05
阅读次数：
86
一、zookeeper是什么（概括）？ Zookeeper是一个分布式协调服务的开源框架，为分布式程序提供协调服务，同时用来解决分布式集群中应用系统的数据一致性问题。 zookeeper在本质上是一个分布式的小文件存储系统，以目录树方式存储数据，对树中的节点进行管理，从而维护和监控存储数据的节点状态 ...
分类：
其他好文 时间：
2020-07-26 23:21:12
阅读次数：
98
事务是MySQL等关系型数据库区别于NoSQL的重要方面，是保证数据一致性的重要手段。本文将首先介绍MySQL事务相关的基础概念，然后介绍事务的ACID特性，并分析其实现原理。 MySQL博大精深，文章疏漏之处在所难免，欢迎批评指正。 一、基础概念 事务（Transaction）是访问和更新数据库的 ...
分类：
其他好文 时间：
2020-07-23 23:02:53
阅读次数：
74
分布式领域，CP模型下 数据一致性协议至关重要，不然两边数据不一致容易出现数据读混乱问题。像Etcd Consul zookeeper Eureka ,Redis集群方案这些中间件 都有一致性算法来保证数据一致性像Redis集群数据同步采用grosip是一个体现最终一致性协议算法，其他的算是强一致... ...
分类：
其他好文 时间：
2020-07-22 11:23:30
阅读次数：
70
今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 ...
分类：
其他好文 时间：
2020-07-17 09:40:37
阅读次数：
123
上文提到过数据库中2PC如何实现的，今天就来好好画画2PC与3PC的流程图，以及对比它们之间的关系和区别。 分布式事务是为了解决微服务架构（形式都是分布式系统）中不同节点之间的数据一致性问题。这个一致性问题本质上解决的也是传统事务需要解决的问题，即一个请求在多个微服务调用链中，所有服务的数据处理要么 ...
分类：
其他好文 时间：
2020-07-16 18:23:42
阅读次数：
64
一、SQL Server事务的本质 ? 什么是SQL Server数据库事务？事务:是作为单个工作单元而执行的--系列操作，如查询和修改数据，甚至可能是修改数据定义。事务:保持逻辑数据一致性与可恢复性，必不可少的利器。? SQL Server数据库事务举例在一个事务中，你写了2条sql语句，一条是修 ...
分类：
数据库 时间：
2020-07-08 21:30:51
阅读次数：
73
一、简介 ZAB ，Zookeeper Atomic Broadcast，zk原子消息广播协议，是专为ZooKeeper设计的一种支持崩溃恢复的原子广播协议，在 Zookeeper中，主要依赖 ZAB 协议来实现分布式数据一致性。 Zookeeper使用一个单一主进程来接收并处理客户端的所有事务请求 ...
分类：
其他好文 时间：
2020-07-07 15:43:05
阅读次数：
77
