该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
思考：php对象复合数据类型，如果直接echo 输出对象会报错的，这样的报错会给用户体验不好，有没有办法能够解决这类问题呢？ 引入：虽然上述问题出现是因为程序员的误操作，但是的确有可能出现这样的问题，尤其是我们的程序是给外部调用时，所以，面向对象关于很多对象可能出现 了一种容错机制，这种机制叫做重载 ...
分类：
Web程序 时间：
2020-02-17 15:56:35
阅读次数：
106
CAP的定义 C: Consistency，一致性，指的是所有节点在同一时刻的数据是相同的 A: Available，可用性，指的是系统提供的服务一直处于可用状态 P:Partition tolerance，分区容错性，指分布式系统在遇到网络分区的情况下，仍然能响应用户的请求 CAP理论指的是在分布 ...
分类：
其他好文 时间：
2020-02-17 01:00:13
阅读次数：
72
Hystrix的一些概念 Hystrix是一个容错框架，可以有效停止服务依赖出故障造成的级联故障。 和eureka、ribbon、feign一样，也是Netflix家的开源框架，已被SpringCloud集成。 线程隔离 将每个请求都包装为一个线程，放到线程池中，对这些请求的处理（线程）互不干扰，隔 ...
分类：
编程语言 时间：
2020-02-16 21:02:50
阅读次数：
107
1. python解析器执行程序时，如果触发了异常，且异常没有被处理，程序就在当前异常处终止运行，抛出异常，后面的代码不会被运行，故要一种异常处理机制来增加程序的健壮性与容错性； 2. 使用try...except处理异常 1> try是正常逻辑业务功能代码； 2> except 捕获异常代码发生的 ...
分类：
编程语言 时间：
2020-02-16 14:44:59
阅读次数：
74
1、基本概念 Apache Storm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom处理数据快速，基准时钟在超过一百万元组每秒处理的每个节点。易于设置和操作，具有可扩展性、容错性，保证了数据的处理能力。Storm主要用于实时在线分析，机器学习，连续计算，分布式R ...
分类：
其他好文 时间：
2020-02-14 18:48:25
阅读次数：
73
CAP定理： 在一个分布式系统中，Consistency（数据一致性）、 Availability（服务可用性）、Partition tolerance（分区容错性），三者不可兼得。 一致性(Consistency) 在分布式系统中的所有数据备份（副本），在同一时刻数据的值是否一致。（等同于所有节点 ...
分类：
其他好文 时间：
2020-02-13 19:04:50
阅读次数：
60
摘要：Hadoop是一个由Apache基金会所开发的分布式基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算，特点是：高可靠性，高扩展性，高效性，高容错性。l ...
分类：
其他好文 时间：
2020-02-13 10:12:16
阅读次数：
64
非集中式结构核心协议：Gossip协议 原理： 每个节点周期性的才能够自己维护的集群节点列表中随机选择k个节点，将自己存储的信息发送给这k个节点，接收到该信息的节点，采用分布式共识原则，对收到的数据和本地数据进行合并，经过几个迭代周期之后，集群中所有节点的数据信息就一致了。 优点： 扩展性，可容错， ...
分类：
其他好文 时间：
2020-02-12 10:46:45
阅读次数：
107
一般，分布式系统需要支持以下特性： 资源共享 开放性 并发性 可伸缩性 容错性 透明性 下面分别讨论。 容易理解的 资源共享 一旦授权，可以访问环境中的任何资源 资源：包括硬件(e.g. printer, scanner, camera)、软件（服务）、数据(file, database, web ...
分类：
编程语言 时间：
2020-02-10 11:28:27
阅读次数：
70
