ChaosBlade 是阿里巴巴开源的一款遵循混沌工程原理和混沌实验模型的实验注入工具,帮助企业提升分布式系统的容错能力,并且在企业上云或往云原生系统迁移过程中业务连续性保障。 地址:https://github.com/chaosblade-io/chaosblade 文档:https://cha ...
分类:
其他好文 时间:
2020-07-11 12:42:24
阅读次数:
109
多线程怎么实时获取结果?Dubbo 的集群容错模式:Forking Cluster可以怎么实现?
分类:
编程语言 时间:
2020-07-10 09:19:49
阅读次数:
62
raid 10 是先做raid0,然后再做raid1,raid 01 是先做raid1,然后再做raid0,相比于raid 01而言,raid10具有更好的容错性。如下: 假如AB两份数据存储在4块做raid 10模式的硬盘上,存储的数据为 AA BB,当其中的第一块盘坏掉后,如果还出现坏盘时,有1 ...
分类:
其他好文 时间:
2020-07-07 23:40:30
阅读次数:
91
一、简介 Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的、具有高容错性的一致性算法。Google Chubby的作者Mike Burrows说过,世上只有一种一致性算法,那就是Paxos,所有其他一致性算法都是Paxos算法的不完整版。Paxos算法 ...
分类:
编程语言 时间:
2020-07-07 15:58:30
阅读次数:
58
RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个可分区,不可变,里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中,后续的查询能够重用工作集 ...
分类:
其他好文 时间:
2020-07-06 16:20:23
阅读次数:
61
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:
其他好文 时间:
2020-07-06 15:47:59
阅读次数:
67
1.原生模块 :pymsql 用于在程序之中编程 2 ORM框架: SQLAchemy -作用: 1提供简单的规则转化 2自动转化成SQL语句 -此类在企业开发中的好处减少容错率,提升开发效率 - DB first: 手动创建数据库以及表 -> ORM框架 -> 自动生成类 - code first ...
分类:
数据库 时间:
2020-07-05 17:43:37
阅读次数:
68
DAG : 整个计算链可以抽象为一个DAG(有向无环图) Spark 的 DAG 作用: 记录了RDD之间的依赖关系,即RDD是通过何种变换生成的, 如下图:RDD1是RDD2的父RDD,通过flatMap操作生成 借助RDD之间的依赖关系,可以实现数据的容错, 即子分区(子RDD)数据丢失后,可以 ...
分类:
其他好文 时间:
2020-07-05 17:29:07
阅读次数:
56
RDD概述 RDD:弹性分布式数据集,初学时,可以把RDD看做是一种集合类型(和Array,List类比) RDD的特点: ①有容错性,即数据丢失是可以恢复的 ②有分区机制,可以并行的处理RDD数据 创建RDD的2种方式: ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类:
其他好文 时间:
2020-07-05 15:15:06
阅读次数:
66
存储相关知识 存储 https://blog.csdn.net/pansaky/article/details/83626183 https://blog.csdn.net/hxl_1993/article/details/62896197 HDFS Ceph GFS GPFS Swift 应用场景... ...
分类:
其他好文 时间:
2020-07-05 13:41:16
阅读次数:
81