欢迎转载，转载请注明出处，徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster mod...
分类：
其他好文 时间：
2014-07-07 14:20:42
阅读次数：
267
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
创建zybo cluster的spark集群（计算层面）： 1.每个节点都是同样的filesystem，mac地址冲突，故： vi ./etc/profile export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
分类：
其他好文 时间：
2014-07-05 17:29:31
阅读次数：
549
http://linux.chinaunix.net/techdoc/net/2009/07/21/1125256.shtml # modprobe ip_vs LVS+Keepalived实现高可用集群来源: ChinaUnix博客 日期： 2009.07.21 14:49 (共有条评论)...
分类：
其他好文 时间：
2014-07-03 23:16:49
阅读次数：
338
??
直接路由的高可用LVS集群配置：
调度服务器IP：（106.3.43.240）192.168.11.100，节点服务器分别为：192.168.11.101，192.168.11.102
一、安装ipvsadmin：
1、yum -y install ipvsadmin（推荐用第一种方法）
2、下载http://www.linuxvirtualserver.org/software/...
分类：
其他好文 时间：
2014-07-03 17:17:10
阅读次数：
431
一、部署环境：服务器版本：CentOS6.5(Finnal)网络拓扑：二、需求分析：调度服务器与网页服务器均在同一网段局域网环境，用户提交的请求会经过调度器的分配指定到网页服务器，同时保证服务高可用性（任意一台网站服务器宕机后调度器会剔除它直至服务器恢复至正常；主调度器宕机..
分类：
其他好文 时间：
2014-07-03 14:16:51
阅读次数：
260
环境中遇到了ora-00600 4000错误,涉及的对象即为cluster table,下面我这里简单模拟了一下。供参考!
++++创建测试表
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
...
分类：
数据库 时间：
2014-07-03 13:47:38
阅读次数：
400
负载均衡是集群部署中的一种，通过多个节点来承担邮件服务的工作，每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求，适用于大容量用户使用。集群技术解析集群（Cluster）技术是指...
分类：
其他好文 时间：
2014-07-01 18:00:42
阅读次数：
267
相信很多同学和我差不多，半桶水，貌似在配置lvs双机的时候，直接用的keepalived，ipvsadm就用来看看，感觉没啥用，今天无聊到处逛发现，某大神说，keepalived只是ipvsadm的一部分组件附上ipvsadm的命令参考对ipvsadm 的命令参考，并根据自己使用的经验，进行了一个简...
分类：
其他好文 时间：
2014-07-01 13:10:44
阅读次数：
161
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Serv...
分类：
数据库 时间：
2014-06-30 22:41:02
阅读次数：
285
