欢迎转载，转载请注明出处，徽沪一郎。概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster mod...
分类：
其他好文 时间：
2014-07-07 14:20:42
阅读次数：
267
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
这学期选了门模式识别的课。发现最常见的一种情况就是，书上写的老师ppt上写的都看不懂，然后绕了一大圈去自己查资料理解，回头看看发现，Ah-ha，原来本质的原理那么简单，自己一開始仅仅只是被那些看似formidable的细节吓到了。所以在这里把自己所学的一些点记录下来，供备忘，也供參考。1. K-Ne...
分类：
其他好文 时间：
2014-07-07 10:06:18
阅读次数：
253
1.常见的Oracle生产库环境：图2-1可以说是标准的生产库环境，处处体现了冗余，有效防止了单点故障。这就是HA（高可用）而且冗在某种条件下还可以去掉，平常实现同时运行提供服务，如果一台坏掉，另一台也可以继续提供完整服务。这就是LB（负载均衡）也就是说实现了HA+LB（高可用+负载均衡）还涉及一个...
分类：
数据库 时间：
2014-07-03 19:45:01
阅读次数：
290
Last_IO_Error: The slave IO thread stopsbecause the master has @@GLOBAL.GTID_MODE OFF and this server has@@GLOBAL.GTID_MODE ON...
分类：
数据库 时间：
2014-07-03 17:31:44
阅读次数：
348
环境中遇到了ora-00600 4000错误,涉及的对象即为cluster table,下面我这里简单模拟了一下。供参考!
++++创建测试表
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
...
分类：
数据库 时间：
2014-07-03 13:47:38
阅读次数：
400
那些免费却未被重视的IBMPowerHA内置功能（1）IBMPowerHA软件全名IBMPowerHASystemMirrorforAIX，（也有foribmi的版本，其实是完全不同的软件，本文不涉及），目前最新版本7.1.3。其原名HACMP，是运行在IBMPOWER小型机/AIX操作系统下的高可用/灾备软件，应用相当广泛，相信接触..
分类：
其他好文 时间：
2014-07-02 15:47:33
阅读次数：
277
负载均衡是集群部署中的一种，通过多个节点来承担邮件服务的工作，每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求，适用于大容量用户使用。集群技术解析集群（Cluster）技术是指...
分类：
其他好文 时间：
2014-07-01 18:00:42
阅读次数：
267
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster，需要三种角色：Shard Serv...
分类：
数据库 时间：
2014-06-30 22:41:02
阅读次数：
285
故障重现：某集团准备测试使用SCVMM2012R2来管理当前企业内部异构虚拟环境及群集，计划测试后正式上线，测试途中，添加了一个现有的Hyper-v群集，But，添加失败了，在SCVMM中，无法删除失败的群集，而且继续添加群集。解决思路：首先尝试使用Powershell语句，强行Remove群集，..
分类：
其他好文 时间：
2014-06-29 21:11:05
阅读次数：
424
