Redis集群是Redis提供的分布式数据库方案，集群通过分片（Sharding）来进行数据共享，并提供复制和故障转移功能。 ##节点 一个节点就是一个运行在集群模式下的Redis服务器，Redis服务器在启动的时候会根据cluster-enabled配置项来决定是否开启服务器的集群模式。 节点当前 ...
分类：
其他好文 时间：
2020-07-12 13:59:19
阅读次数：
63
前言： 最近在关注微服务，在 eShop On Containers 项目中存在一个API网关项目，引起想深入了解下它的兴趣。 一、API网关是什么 API网关是微服务架构中的唯一入口，它提供一个单独且统一的API入口用于访问内部一个或多个API。它可以具有身份验证，监控，负载均衡，缓存，请求分片与 ...
在几年前在专项测试组，专项老大带着我一起做一个应用的app的专项性能测试，给应用的耗流量地方进行排查， 好几年了，现在我把他整理出来，看看还是很温故以前的点点滴滴 1. 【专项】【流量】客户端分片传输策略可以优化，把HTTP Header和较小的Content合并在一个包来发 过滤条件：tcp.st ...
分类：
其他好文 时间：
2020-07-08 00:51:35
阅读次数：
191
前言 上一节我们讲了哈希算法的四个应用，分别是安全加密、数据校验、唯一标识、散列函数。今天再来看看剩下的三个应用：负载均衡、数据分片、分布式存储。 可能大家已经发现了，这三个应用都是与分布式相关的。没错，今天我们来学习一下，哈希算法是如何解决这些分布式问题的。 应用五：负载均衡 负载均衡算法有很多， ...
分类：
编程语言 时间：
2020-07-06 20:00:29
阅读次数：
69
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
一.Map的原理和运行流程 Map的输入数据源是多种多样的，我们使用hdfs作为数据源。文件在hdfs上是以block(块，Hdfs上的存储单元)为单位进行存储的。 1.分片 我们将这一个个block划分成数据分片，即Split（分片，逻辑划分，不包含具体数据，只包含这些数据的位置信息）,那么上图中 ...
分类：
其他好文 时间：
2020-07-06 14:25:24
阅读次数：
60
欢迎关注 CSDN：程序员小羊 微信公众号：程序员小羊 1、elasticsearch 了解多少，说说你们公司 es 的集群架构，索引数据大小，分片有多少，以及一些调优手段 。 面试官：想了解应聘者之前公司接触的 ES 使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 解答： 如实结合自 ...
分类：
其他好文 时间：
2020-07-04 10:31:55
阅读次数：
66
首先说一下为什么选择MyCat，mysql分表分库的工具还有sharding-jdbc，是jar包的形式集成到项目的，可以相对灵活的配置自定义分片策略（PS:其实大部分业务场景是分片策略越简单越好啊，不会搞那么复杂也不需要太灵活，要不然扩容很麻烦），从架构上考虑感觉不太灵活，依赖与项目，性能负载都是 ...
分类：
其他好文 时间：
2020-07-03 12:17:29
阅读次数：
52
Kafka 的核心架构原理。 ##Kafka 分布式存储架构 那么现在问题来了，如果每天产生几十 TB 的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，我们结合 Kafka 的具体情况来说说。 在 Kafka 里面，有一个核心的概念叫做“Topic” ...
分类：
其他好文 时间：
2020-07-01 17:26:55
阅读次数：
67
mongodb集群概念介绍 mongodb支持架构有单机(stand-alone)、主从(master-slave)、副本集(replica set)以及分片(sharding), 而最常用的架构莫过于副本集 + 分片。而分片有三大组件，分别为mongos、configsvr、sharding se ...
分类：
数据库 时间：
2020-07-01 12:36:50
阅读次数：
60
