码迷,mamicode.com
首页 >  
搜索关键字:两阶段    ( 205个结果
Spark 数据倾斜及其解决方案
本文从数据倾斜的危害、现象、原因等方面,由浅入深阐述Spark数据倾斜及其解决方案。 ...
分类:其他好文   时间:2019-12-30 11:24:02    阅读次数:64
四、2pc事务提交协议
所有文章 https://www.cnblogs.com/lay2017/p/12078232.html 正文 在讲1pc事务提交协议的时候我们说过,1pc适合单个数据源,如果在分布式场景下需要面对多个数据源的时候它就心有余而力不足了。 两阶段提交协议 1pc的根本问题在于无法协调多个数据源,为此就 ...
分类:其他好文   时间:2019-12-27 00:16:22    阅读次数:39
[转帖]分布式事务之解决方案(XA和2PC)
分布式事务之解决方案(XA和2PC) https://zhuanlan.zhihu.com/p/93459200 3. 分布式事务解决方案之2PC(两阶段提交) 针对不同的分布式场景业界常见的解决方案有2PC、TCC、可靠消息最终一致性、最大努力通知这几种。 3.1. 什么是2PC 2PC即两阶段提 ...
分类:其他好文   时间:2019-12-22 18:38:49    阅读次数:108
Flink生产数据到Kafka频繁出现事务失效导致任务重启
在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。 查看kafka documentation和... ...
分类:其他好文   时间:2019-12-16 13:10:45    阅读次数:182
[Java复习] 分布式事务 Part 2
分布式事务了解吗?如果解决分布式事务问题的? 面试官心里: 只要聊到你做了分布式系统,必问分布式事务,起码得知道有哪些方案,一般怎么来做,每个方案的优缺点是什么。 为什么要有分布式事务? 分布式事务实现的几种方案: 1. 两阶段提交方案/XA方案 这种分布式事务方案,比较适合单块应用里。跨多个库的分 ...
分类:编程语言   时间:2019-12-15 14:18:20    阅读次数:36
mysql的两阶段协议(封锁定理,虫洞事务)
我们都知道数据库的事务具有ACID的四个属性:原子性,一致性,隔离性和持久性。然后在多线程操作的情况下,如果不能保证事务的隔离性,就会造成数据的修改丢失(事务2覆盖了事务1的修改结果)、读到脏数据(事务2读到了事务1未回滚的数据)、不可重读(事务2读到了事务1未提交的修改)和幻读(事务2读到了事务1 ...
分类:数据库   时间:2019-12-11 00:02:52    阅读次数:110
ETCD:运行时重新配置设计
原文地址: "the runtime configuration design" 运行时重新配置是分布式系统中最难,最容易出错的部分,尤其是在基于共识(像etcd)的系统中。 阅读并学习关于etcd的运行时重新配置命令设计和如何追溯这些错误. 两阶段配置更新保证集群安全 在etcd中,每一次运行时重 ...
分类:其他好文   时间:2019-11-26 13:23:09    阅读次数:41
数据库·并发控制原理
ref: https://blog.csdn.net/whyangwanfu/article/details/1926675 可串行化 事务集并发执行产生的任何调度的执行效果等价于这些事务按某个串行顺序执行的结果。 可串行化可通过并发控制机制( 两阶段封锁协议 )来保证。 冲突可串行化 只考虑rea ...
分类:数据库   时间:2019-11-23 09:16:55    阅读次数:50
MapReduce清洗数据进行可视化
继上篇第一阶段清洗数据并导入hive 本篇是剩下的两阶段 2、数据处理: ·统计最受欢迎的视频/文章的Top10访问次数 (video/article) ·按照地市统计最受欢迎的Top10课程 (ip) ·按照流量统计最受欢迎的Top10课程 (traffic) 3、数据可视化:将统计结果倒入MyS ...
分类:其他好文   时间:2019-11-16 23:06:41    阅读次数:42
大数据课堂测试3——数据清洗(1)
两阶段数据清洗: (1)第一阶段:把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章: article/11325 视频: video/3235 (2)第二阶段:根据提取出来的信息做精细化 ...
分类:其他好文   时间:2019-11-15 09:35:46    阅读次数:81
205条   上一页 1 2 3 4 5 ... 21 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!