1、数据库中即时保存数据：Dataset； 2、从网页抓取数据：Beautiful Soup 3、和 HTTP 内容打交道：Requests 4、编写命令行工具：Click 5、对事物命名：Python Slugify 6、和插件打交道：Pluggy 7、把 CSV 文件转换到 API 中：Data ...
分类：
编程语言 时间：
2020-04-10 11:56:52
阅读次数：
98
一致性的重要性 分布式领域CAP理论告诉我们，任何一个分布式系统都无法同时满足Consistency(一致性),Availability(可用性), Partition tolerance(分区容错性) 这三个基本需求。最多只能满足其中两项。 但是，一个分布式系统无论在CAP三者之间如何权衡，都无法 ...
分类：
其他好文 时间：
2020-04-08 19:01:42
阅读次数：
54
ElasticSearch的容错机制处理过程 以9个shard，3个节点为例，如果master节点宕机，此时不是所有的primary shard都是Active status，所以此时的集群状态是red。 容错处理的第一步:重新选举一台服务器作为master 容错处理的第二步：新选举的master会 ...
分类：
其他好文 时间：
2020-04-06 17:33:20
阅读次数：
57
水平扩容的过程 1、扩容后primary shard和replica shard会自动的负载均衡 2、扩容后每个节点的shard会减少，那么分配给每个shard的cpu，内存、io资源会更多，性能提高 3、扩容的极限，如果有6个shard，扩容的极限就是6个节点，每个节点上一个shard，如果想超出 ...
分类：
其他好文 时间：
2020-04-06 11:47:48
阅读次数：
71
Eureka服务治理 什么是服务治理？ SpringCloud封装了Netflit公司开发的Eureka模块来实现服务治理； 在传统的rpc远程调用框架中，管理每个服务与服务之间的依赖关系比较复杂，所以需要使用服务治理，管理服务与服务之间的依赖关系，可以实现服务调用、负载均衡、容错、实现服务的发现与 ...
分类：
其他好文 时间：
2020-04-05 00:11:54
阅读次数：
104
更新记录 时间 | 版本修改 | | | 2020年4月2日| 初稿 | 我们从经典的计算机科学丛书上阅到的知识，都说： 。但是这个要怎么理解呢？在我没有接触底层的套接字相关逻辑时。我对此也没有特别的了解。直到阅读了套接字的相关逻辑源码，才对此有了一定的了解 TCP的发包和我们业务层所发出的协议数据 ...
分类：
其他好文 时间：
2020-04-02 01:15:39
阅读次数：
70
nginx全面解析【负载均衡、反向代理、高可用、宕机容错】原创itcats_cn 最后发布于2018-09-06 10:24:33 阅读数 15799 收藏展开什么是nginx？nginx是一款高性能的http服务器，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行 ...
分类：
其他好文 时间：
2020-03-31 12:00:33
阅读次数：
63
一、RADI分类 radi0： 优势：读性能提升，磁盘利用率百分百 缺点：没有容错，坏一个全坏。写性能下降 radi1 优势：有容错能力 缺点：消耗磁盘 radi5 优势：有容错能力，读写能力提升 缺点：消耗磁盘 raid：10 先做radi1，在做raid0 二、在linux中的软radi mda ...
分类：
其他好文 时间：
2020-03-31 10:34:57
阅读次数：
78
为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：cache、persist、checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下几种： ...
分类：
系统相关 时间：
2020-03-30 12:43:50
阅读次数：
102
为了避免微服务中因为启动某一个服务宕机，而导致“雪崩”，使整个应用阻塞； 熔断器Hystrix使用了线程隔离和服务降级的方式，提高整体应用的容错能力。 我使用的SpringCloud版本是Hoxton.SR3 线程隔离：Hystrix使用自己的线程池，和主应用服务器线程隔离开来。每个服务都使用独立的 ...
分类：
其他好文 时间：
2020-03-28 21:59:24
阅读次数：
103
