LVS是一种集群(Cluster)技术：采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程 ...
分类：
其他好文 时间：
2019-04-19 11:54:11
阅读次数：
143
一些名词概念 以yarn-cluster模式为例 Spark-submit提交源码解析 yarn的调度流程 https://www.cnblogs.com/shengyang17/p/10321228.html RDD中的数据变成一个个分区的数据，一个个分区变成任务 RDD（对数据计算逻辑的 抽象， ...
分类：
其他好文 时间：
2019-04-19 00:49:07
阅读次数：
133
1 Redis-cluster架构图 redis-cluster投票:容错 （至少要三个才可以，才能超过半数） 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客 ...
分类：
其他好文 时间：
2019-04-15 16:23:12
阅读次数：
158
集群节点的启动仍然是使用redis-server命令，但需要使用集群模式启动。启动完之后各个节点分别在各自的集群内，可以通过cluster meet命令将两个节点加入到同一个集群。集群相关的命令通过cluster.c@clusterCommand这个api现实。下面主要通过源码分析来看看A节点向B节 ...
分类：
其他好文 时间：
2019-04-14 18:08:18
阅读次数：
311
Spark内部执行机制 1.1 内部执行流程 如下图1为分布式集群上spark应用程序的一般执行框架。主要由sparkcontext（spark上下文）、cluster manager(资源管理器)和?executor（单个节点的执行进程）。其中cluster manager负责整个集群的统一资源管 ...
分类：
其他好文 时间：
2019-04-13 10:30:43
阅读次数：
140
一: redis cluster介绍篇 1:redis cluster的现状 目前redis支持的cluster特性(已亲测): 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置 ...
分类：
其他好文 时间：
2019-04-12 15:03:20
阅读次数：
166
1. InnoDB 引擎 MySQL 5.5 及以后版本中的默认存储引擎，它的优点如下：灾难恢复性好，支持事务，使用行级锁，支持外键关联，支持热备份。 InnoDB引擎中的表，其数据的物理组织形式是簇表（Cluster Table），主键索引和数据是在一起的，数据按主键的顺序物理分布。实现了缓冲管理 ...
分类：
数据库 时间：
2019-04-12 13:20:56
阅读次数：
200
Return: Map[TopicPartition, Long] Code: val props = new Properties() props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaPara("bootstrap.servers") ...
分类：
其他好文 时间：
2019-04-09 18:55:52
阅读次数：
180
步骤1：扩展部署 要列出部署，请使用GET部署命令：kubectl get deployments 我们应该有一个POD。如果没有，请再次运行该命令。这显示：所需的状态显示的是已配置的副本数量，当前的状态显示了现在运行的副本的数量，最新的是更新以匹配所需(配置的)状态的副本的数量，可用状态显示用户实 ...
分类：
其他好文 时间：
2019-04-09 15:19:11
阅读次数：
120
今天看了篇文章，讲的是分布式和集群的区别，觉得挺有趣的，决定自己再写一篇，权当是加深印象了。 分布式（distributed）：是指在多台不同的服务器中部署不同的服务模块，通过远程调用协同工作，对外提供服务。 集群（cluster）：是指在多台不同的服务器中部署相同应用或服务模块，构成一个集群，通过 ...
分类：
其他好文 时间：
2019-04-09 13:57:36
阅读次数：
139
