1.理解了CAP理论之后，再去理解BASE理论即可好理解了，其实说白了，base理论就是cap理论的扩展。（CAP的一致性就是强一致性），但可以采用适当的采取弱一致性，即最终一致性。 BASE是指 基本可用（Basically Available）、软状态（ Soft State）、最终一致性（ E ...
分类：
其他好文 时间：
2020-07-17 16:16:10
阅读次数：
86
1、背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。 在常见的分布式系统中，总会发生诸如机器宕机或网络异常（包括消息的延迟、丢失、重复、乱序，还有网络分区）(也就是会发生异 ...
分类：
编程语言 时间：
2020-07-17 16:10:33
阅读次数：
63
今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 ...
分类：
其他好文 时间：
2020-07-17 09:40:37
阅读次数：
123
1.缓存一致性 由于CPU执行速度很快，而从内存读取数据和向内存写入数据的过程跟CPU执行指令的速度比起来要慢的多，因此如果任何时候对数据的操作都要通过和内存的交互来进行，会大大降低指令执行的速度。因此在CPU里面就有了高速缓存。 正是因为有每个cpu都有自己的高速缓存所以引发了缓存一致性问题 如果 ...
分类：
编程语言 时间：
2020-07-17 09:27:15
阅读次数：
67
当mysql开启binlog日志时，会存在一个内部XA的问题：事务在存储引擎层redo log的写入和binlog的写入一致性问题。 mysql通过两阶段提交很好的解决了redo log和binlog一致性问题： 第一阶段：innodb prepare, 持有prepare_commit_mutex ...
分类：
数据库 时间：
2020-07-17 01:14:06
阅读次数：
148
上文提到过数据库中2PC如何实现的，今天就来好好画画2PC与3PC的流程图，以及对比它们之间的关系和区别。 分布式事务是为了解决微服务架构（形式都是分布式系统）中不同节点之间的数据一致性问题。这个一致性问题本质上解决的也是传统事务需要解决的问题，即一个请求在多个微服务调用链中，所有服务的数据处理要么 ...
分类：
其他好文 时间：
2020-07-16 18:23:42
阅读次数：
64
第一节：了解常用的分布式解决方案 一、分布式事务方案：最终一致性、事务补偿、TCC、两阶段提交、最大能力通知等。具体结合业务场景。很多大型企业自主研发了自己的分布式事务解决方案，如：支付宝 XTS，去哪儿 QMQ。 1.基于可靠消息的最终一致性解决方案（异步确保型）（适用场景比较广） 2.TCC事务 ...
分类：
其他好文 时间：
2020-07-16 12:22:48
阅读次数：
96
第一节：了解常用的分布式解决方案 一、分布式事务方案：最终一致性、事务补偿、TCC、两阶段提交、最大能力通知等。具体结合业务场景。很多大型企业自主研发了自己的分布式事务解决方案，如：支付宝 XTS，去哪儿 QMQ。 1.基于可靠消息的最终一致性解决方案（异步确保型）（适用场景比较广） 2.TCC事务 ...
分类：
其他好文 时间：
2020-07-16 12:18:54
阅读次数：
77
Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf ...
分类：
其他好文 时间：
2020-07-16 00:19:13
阅读次数：
71
思路： cpu多级缓存 - 伪共享 解决一致性 缓存锁MESI + 总线锁 缓存行填充 cpu指令乱序 演示demo 为什么乱序 - 好处 因为cpu比内存块太多，为了充分压榨cpu cpu内存屏障阻止乱序 sfence&lfence&mfence volatile实现 字节码层面 在access ...
分类：
其他好文 时间：
2020-07-15 01:02:42
阅读次数：
97
