Spark有以下四种运行模式： local：本地单进程模式，用于本地开发测试Spark代码; standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行; on yarn/mesos：运行在yarn/mesos等资源管理框架之上，y ...
分类：
其他好文 时间：
2017-05-06 01:01:50
阅读次数：
246
1、web负载均衡 1)http重定向2)七层负载均衡 反向代理负载均衡(浏览器端<->后台web服务器) session一致问题 通过单独的服务器来存储，一般通过redis memchache来实现。3)四层负载均衡 ip负载均衡 通过修改网络层ip和传输层端口来实现 一般通过lvs来实现。4)D ...
分类：
其他好文 时间：
2017-04-27 10:32:22
阅读次数：
231
1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力： 熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构； 学完此阶段可解决的现实问题： 搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对 ...
分类：
其他好文 时间：
2017-04-25 17:45:13
阅读次数：
314
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46352315 1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点 ...
分类：
其他好文 时间：
2017-04-23 19:27:22
阅读次数：
151
基于RHCS的web双机热备集群搭建 RHCS集群执行原理及功能介绍 1、 分布式集群管理器（CMAN） Cluster Manager。简称CMAN。是一个分布式集群管理工具。它执行在集群的各个节点上，为RHCS提供集群管理任务。CMAN用于管理集群成员、消息和通知。它通过监控每一个节点的执行状态 ...
分类：
Web程序 时间：
2017-04-22 14:47:28
阅读次数：
360
1）问题描述分布式中有这么一个疑难问题，客户端向一个分布式集群的服务端发出一系列更新数据的消息，由于分布式集群中的各个服务端节点是互为同步数据的，所以运行完客户端这系列消息指令后各服务端节点的数据应该是一致的，但由于网络或其他原因，各个服务端节点接收到消息的..
分类：
编程语言 时间：
2017-04-17 14:52:44
阅读次数：
194
7,在SparkWorker1和SparkWorker2上完毕和SparkMaster相同的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容复制到SparkWorker1和SparkWorker2上; 8,启动并验证Hadoop分布式集群 ...
分类：
其他好文 时间：
2017-04-16 22:43:15
阅读次数：
231
Ambari 是 Apache Software Foundation 的一个顶级开源项目，是一个集中部署、管理、监控 Hadoop 分布式集群的工具。但是这里的 Hadoop 是一个广义概念，并不仅仅指的是 Hadoop（HDFS、MapReduce），而是指 Hadoop 生态圈（包括 Spar ...
分类：
其他好文 时间：
2017-04-13 19:19:39
阅读次数：
446
SolrCloud 分布式集群部署步骤 SolrCloud 分布式集群部署步骤 SolrCloud 分布式集群部署步骤 SolrCloud 分布式集群部署步骤 SolrCloud 分布式集群部署步骤 SolrCloud 分布式集群部署步骤 安装软件包准备 apache-tomcat-7.0.54 j ...
分类：
其他好文 时间：
2017-04-11 16:38:11
阅读次数：
164
一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文：http:/ ...
分类：
其他好文 时间：
2017-04-11 00:57:42
阅读次数：
537
