spark submit 参数及其调优https://blog.csdn.net/guohecang/article/details/52088117 Spark配置参数详解 一.yarn模式下一个示例:./bin/spark-submit \ --master yarn-cluster \ --n ...
分类:
其他好文 时间:
2019-12-06 16:25:50
阅读次数:
103
https://rook.io/docs/rook/v1.1/ceph examples.html?rook ceph官方指导 https://github.com/rook/rook/tree/master/cluster/examples/kubernetes/ceph?github项目地址 g ...
分类:
其他好文 时间:
2019-12-06 13:51:15
阅读次数:
304
此博文是案例博文,关于LVS负载均衡群集的原理及相关概述,请参考博文:Centos7之LVS负载均衡群集一、案例简介1、案例环境2、实验结果使用NAT模式的群集技术,LVS负载调度器是所有节点访问Internet的网关服务器,其192.168.200.10作为整个群集的VIP地址。使用轮询(rr)的调度算法。web1和web2先搭建web服务,分别准备不同的网页文件,供客户端访问,以此来确定cli
分类:
其他好文 时间:
2019-12-06 13:31:11
阅读次数:
109
Envoy Proxy 动态API的使用总结 Envoy Proxy和其它L4/L7反向搭理工具最大的区别就是原生支持动态配置。 首先来看一下Envoy的大致架构 从上图可以简单理解:Listener负责接受外部的请求,然后经过Filter/Router处理之后,在转发到具体的Cluster。 其中 ...
分类:
其他好文 时间:
2019-12-06 11:25:15
阅读次数:
132
```bash # elasticsearch.yml cluster.name: my-application node.name: node-1 node.master: true node.ingest: true node.data: true network.host: 172.17.10... ...
分类:
其他好文 时间:
2019-12-06 09:36:15
阅读次数:
227
RedisCluster 添加/删除节点 添加节点新配置两个测试节点8008和9009 1、添加主点 注释:192.13.10.77:8008 新添加的节点192.13.10.77:2002 集群任意一个节点 查看集群状态: 添加从节点: 注释:--slave 表示添加的是从节点--master-i ...
分类:
其他好文 时间:
2019-12-05 21:53:54
阅读次数:
108
常见的web集群调度器目前常见的web集群调度器分为软件和硬件,软件通常使用开源的LVS,Haproxy,Nginx,硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼,绿盟等Haproxy应用分析LVS在企业应用中抗负载能力很强,但存在不足LVS不支持正则处理,不能实现动静分离对于大型网站,LVS的实施配置复杂,维护成本相对较高Haproxy是一款可提供高可用性,负载均衡,及基于
分类:
Web程序 时间:
2019-12-05 20:33:25
阅读次数:
109
今天来看一下Redis-Cluster和其中的重要概念Gossip协议。
1.Redis Cluster的基本概念
集群版的Redis听起来很高大上,确实相比单实例一主一从或者一主多从模式来说复杂了许多,互联网的架构总是随着业务的发展不断演进的。
单实例Redis架构
最开始的一主N从加上读写分离,Redis作为缓存单实例貌似也还不错,并且有Sentinel哨兵机制,可以实现主从故障迁移。
分类:
其他好文 时间:
2019-12-04 19:54:32
阅读次数:
104
Environment:4台CentOS机器 两台LVS 两台web服务器 LVS主备的操作,都需要安装ipvsadm和keepalived yum -y install ipvsadm keepalived LVS主机操作 : 1 更改keep alive的配置文件 2 vrrp_instance ...
分类:
其他好文 时间:
2019-12-04 19:51:00
阅读次数:
76
群集的含义Cluster,集群,群集由多台主机构成,但对外只表现为一个整体在互联网应用中,随着站点对硬件性能,相应速度,服务稳定性,数据可靠性等要求越来越高,单台服务器力不从心解决方法:使用价格昂贵的小型机,大型机使用普通服务器构建服务群集企业群集分类根据群集所针对的目标差异,可分为三种类型负载均衡群集高可用群集高性能运算群集负载均衡群集?以提高应用系统的响应能力,尽可能处理更多的访问请求,减少延
分类:
其他好文 时间:
2019-12-04 18:27:00
阅读次数:
108