Hystrix ,中文含义是豪猪,因其背上长满棘刺,从而拥有了自我保护的能力。本文所说的Hystrix是Netflix开源的一款容错框架,同样具有自我保护能力。 Hystrix是由Netflix开源的一个延迟和容错库,用于隔离访问远程系统、服务或者第三方库,防止级联失败,从而提升系统的可用性、容错性 ...
分类:
其他好文 时间:
2020-04-19 10:58:18
阅读次数:
62
CAP理论 Consistency,一致性 是指所有节点在同一时刻的数据是相同的,即更新操作执行结束并响应用户完成后,所有节点存储的数据会保持相同。 Availability,可用性 是指系统提供的服务一直处于可用状态,对于用户的请求可即时响应。 Partition Tolerance,分区容错性 ...
分类:
其他好文 时间:
2020-04-17 16:09:39
阅读次数:
110
一致性的重要性 分布式领域CAP理论告诉我们,任何一个分布式系统都无法同时满足Consistency(一致性),Availability(可用性), Partition tolerance(分区容错性) 这三个基本需求。最多只能满足其中两项。 但是,一个分布式系统无论在CAP三者之间如何权衡,都无法 ...
分类:
其他好文 时间:
2020-04-08 19:01:42
阅读次数:
54
水平扩容的过程 1、扩容后primary shard和replica shard会自动的负载均衡 2、扩容后每个节点的shard会减少,那么分配给每个shard的cpu,内存、io资源会更多,性能提高 3、扩容的极限,如果有6个shard,扩容的极限就是6个节点,每个节点上一个shard,如果想超出 ...
分类:
其他好文 时间:
2020-04-06 11:47:48
阅读次数:
71
为了增强容错性和高可用,避免上游RDD被重复计算的大量时间开销,Spark RDD设计了包含多种存储级别的缓存和持久化机制,主要有三个概念:cache、persist、checkout。 1、存储级别介绍(StorageLevel) 存储级别以一个枚举类StorageLevel定义,分为以下几种: ...
分类:
系统相关 时间:
2020-03-30 12:43:50
阅读次数:
102
hdfs有点:高容错性。自动保存多个副本,副本丢失自动恢复,文件处理规模大,可以放置在廉价的机器上面 缺点:hdfa对每一个小文件都有记录,无论大小都会占用内存解决方法是合并处理,不适合低延时的数据访问 文件块的大小决定于磁盘的数据传输效率:一般的是128mb,老版本是64mb,本地模式是32mb, ...
分类:
其他好文 时间:
2020-03-16 13:14:29
阅读次数:
72
参考链接1 --分布式系列文章 参考连接2 一、何为分布式一致性 C(一致性)A(高可用)P(分区容错性)理论:在满足CP的基础上尽可能提高可用性。 何为一致性:一致性问题就是相互独立的节点之间如何达成一项决议的问题。分布式系统中,进行数据库事务提交(commit transaction)、Lead ...
分类:
编程语言 时间:
2020-03-14 16:51:06
阅读次数:
84
编写测试用例的最终目标是:一个对于产品毫无所知的人员,也能够快速的熟悉用例并执行用例测试用例的编写原则:1、 正确性测试:输入用户实际数据以验证系统是满足需求规格说明书的要求;测试用例中的测试点应首先保证要至少覆盖需求规格说明书中的各项功能,并且正常。2、 容错性(健壮性)测试:程序能够接收正确数据 ...
分类:
其他好文 时间:
2020-03-07 10:02:45
阅读次数:
98
[toc] 第一章:认识Git 1.1 Git介绍 Git 是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目。 Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。 Git 与常用的版本控制工具 CVS, Subvers ...
分类:
其他好文 时间:
2020-03-03 20:49:39
阅读次数:
73
数据库定义语言 库和表的管理 一、库的管理创建、修改、删除二、表的管理创建、修改、删除 创建:create 修改:alter 删除:drop database 库 table 表 一、库的管理 库的创建:create database 库名 #案例:创建库Books CREATE DATABASE ...
分类:
编程语言 时间:
2020-02-28 22:41:39
阅读次数:
97