spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。
分类：
其他好文 时间：
2018-08-26 01:21:58
阅读次数：
142
Processors 表示对于一种数据操作处理，在pipeline中可以应用多个Processors， 同时根据不同的执行模式，可以分为独立模式的，集群模式、边缘模式（agent），以及 帮助测试的测试Processors 独立pipelineonly Record Deduplicator - R ...
分类：
其他好文 时间：
2018-08-21 10:55:57
阅读次数：
1010
共享存储在需要将一个 LUN （逻辑单元号）映射给多个节点、为集群提供一个共享的存储卷时，同一个存储 LUN 在各个主机端的 LUNID 必须是相同的。比如： (一) 在为多个 ESX 节点创建一个 VMFS 卷的时候(二) 在双机 HA 集群创建共享存储的时候时间一致性集群模式下，各个节点要协同工... ...
分类：
其他好文 时间：
2018-08-20 15:33:37
阅读次数：
175
Spark 编程指南 概述 Spark 依赖 初始化 Spark 使用 Shell 弹性分布式数据集 (RDDs) 并行集合 外部 Datasets（数据集） RDD 操作 基础 传递 Functions（函数）给 Spark 理解闭包 示例 Local（本地）vs. cluster（集群）模式 打 ...
分类：
其他好文 时间：
2018-08-19 13:55:40
阅读次数：
209
1、安装模式分为三种：单主机模式、普通集群模式、镜像集群模式。 单主机模式：rabbitmq运行在一台主机上，生产环境不建议使用该模式，性能有限。如果该台主机down机，整个服务将不可用。 普通集群模式：对于queue来说，消息实体只存在于一个节点上，集群中其他节点仅有相同的元数据，即队列结构。经过 ...
分类：
其他好文 时间：
2018-08-13 22:58:02
阅读次数：
256
转 https://www.jianshu.com/p/79ca08116d57 消息队列之 RabbitMQ 预流 预流 2017.05.06 16:03* 字数 4884 阅读 80990评论 18喜欢 236赞赏 1 关于消息队列，从前年开始断断续续看了些资料，想写很久了，但一直没腾出空，近来 ...
分类：
其他好文 时间：
2018-08-10 13:18:49
阅读次数：
155
RabbiMQ简介RabbiMQ是用Erang开发的，集群非常方便，因为Erlang天生就是一门分布式语言，但其本身并不支持负载均衡。RabbiMQ模式RabbitMQ模式大概分为以下三种:(1)单一模式。(2)普通模式(默认的集群模式)。(3)镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于RabbiMQ的HA方案，在对业务可靠性要求较高的场合中比较适用)。要实现镜像模式，需要先搭建一个
分类：
其他好文 时间：
2018-08-07 22:24:42
阅读次数：
155
RabbitMQMQ（MessageQueue，消息队列）是一款消息中间件，一般以集群方式部署，主要提供消息的接受和发送，实现各微服务之间的消息异步。集群原理rabbitmq是依据erlang的分布式特性（RabbitMQ底层是通过Erlang架构来实现的，所以rabbitmqctl会启动Erlang节点，并基于Erlang节点来使用Erlang系统连接RabbitMQ节点，在连接过程中需要正确的
分类：
其他好文 时间：
2018-08-07 14:00:23
阅读次数：
130
一、百万pv架构案例概述PV(pageview，页面浏览量)即点击量，通常是衡量一个网站受欢迎程度的主要指标。本案例采用四层模式实现，主要分为前端反向代理层、web层、数据库缓存层和数据库层。前端反向代理层采用主备模式，web层采用集群模式，数据库缓存层采用主备模式，数据库层采用主从模式。每一层都做到了高可用架构，大大提高了业务的稳定性。案例架构图如下：实线表示是正常情况下数据流向，虚线表示的是非
分类：
Web程序 时间：
2018-08-07 13:10:18
阅读次数：
198
案例本案例设计采用四层模式实现，主要分为前端反向代理层，web层，数据库缓存层和数据库层。前端反向代理层采用主备模式，web层采用集群模式，数据库缓存层采用主备模式，数据库层采用主从模式。拓扑图如下。实线是正常情况下的数据流向连接，虚线是异常情况下的数据流向连接前端反向代理服务器配置安装带有nginxrpm软件包的源rpm-ivhhttp://nginx.org/packages/centos/7
分类：
其他好文 时间：
2018-08-04 15:42:47
阅读次数：
158
