1、简介： ZooKeeper 是一个分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题。统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。 2、ZooKeeper 目标： 封装好复杂易出错的关键服务 ...
分类：
其他好文 时间：
2020-05-22 19:36:53
阅读次数：
70
前言 是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。 etcd分布式锁设计 1. ：任意时刻， ...
分类：
其他好文 时间：
2020-05-22 17:21:06
阅读次数：
132
架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker ...
分类：
其他好文 时间：
2020-05-22 09:37:29
阅读次数：
62
操作系统学习（十） 目录： 同步的基本概念 同步亦称直接制约关系，它是指为完成某种任务而建立的两个或多个进程，这些进程因为需要在某些位置上协调它们的工作次序而等待、传递信息所产生的制约关系。 也就是相互制约的关系（共享资源） 临界资源和临界区 临界资源： 一段时间内只允许一进程访问的资源 临界区 程 ...
分类：
其他好文 时间：
2020-05-21 14:39:15
阅读次数：
66
烟草行业是为我国经济社会全面发展、增加国家财政收入做出积极贡献的特殊行业，多年来一直实行“统一领导、垂直管理、专卖专营”的管理体制。为全面贯彻落实“中国制造2025”和“互联网+”的行动理念，烟草行业致力于积极推动传统管理体制的改革升级，全面建设和打造“现代烟草”、“数字烟草”，不断促进烟草行业持续稳定协调健康发展。然而，随着整体信息化建设工作的开展，烟草行业信息化运维工作面临的不足也日渐突显，主
分类：
Web程序 时间：
2020-05-19 01:15:01
阅读次数：
89
Kafka是什么 Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且基于ZooKeeper协调的内部基础设置，现已捐献给Apache基金会。Kafka是一个流平台，主要用来发布和订阅数据流，是流式数据处理的利器。Kafka用于构建实时数据管道和流应用程序，具有 ...
分类：
其他好文 时间：
2020-05-18 20:50:54
阅读次数：
67
Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制 既然是一个组，那么组内必然可以有多个消费者或消费者实例（Consumer Instance），它们共享一个公共的 ID，这个 ID 被称为 Group ID 组内的所有消费者协调在一起来消费订阅主题（Subscrib ...
分类：
其他好文 时间：
2020-05-18 12:48:42
阅读次数：
76
本文源自：https://www.cnblogs.com/Lee_xy_z/p/10470181.html CountDownLatch概念 CountDownLatch是一个同步工具类，用来协调多个线程之间的同步，或者说起到线程之间的通信（而不是用作互斥的作用）。 CountDownLatch能够 ...
分类：
其他好文 时间：
2020-05-18 00:43:23
阅读次数：
61
一、Zookeeper的理论基础 1、Zookeeper简介 Zookeeper由雅虎研究院开发，后捐给Apache。是一个开源的分布式应用程序协调服务器，为分布式系统提供一致性服务。其一致性是通过基于Paxos算法的ZAB协议完成的。其主要功能包括：配置维护、域名服务、分布式同步、集群管理等。 2 ...
分类：
其他好文 时间：
2020-05-17 01:33:42
阅读次数：
94
一、前言 我们提交一个事务，里面有多条sql，mysql是如何管理事务的呢？是如何做到其中一条sql执行失败，全部回滚的呢？ 二、XA事务 XA协议是基于二阶段提交的一个具体实现，也是分为Prepare和Commit两个阶段。 Prepare阶段：TM(事务协调者)向所有RM(资源管理者)发送pre ...
分类：
数据库 时间：
2020-05-16 19:02:59
阅读次数：
114
