引入上一篇文章《DAGScheduler源码浅析》中，介绍了handleJobSubmitted函数，它作为生成finalStage的重要函数存在，这一篇文章中，我将就DAGScheduler生成Stage过程继续学习，同时介绍Stage的相关源码。Stage生成Stage的调度是由DAGScheduler完成的。由RDD的有向无环图DAG切分出了Stage的有向无环图DAG。Stage的DAG通过...
分类：
其他好文 时间：
2015-07-15 22:46:51
阅读次数：
191
因为每种block都有无限多个，所以(x,y,z)等价于是(x,y,z)+(x,z,y)+(y,z,x)这三种block。然后就像是矩形嵌套那样求解，只不过状态转移方程变成了： dp[i] = max( dp[i], dp[j] + z[i] );代码如下： 1 #include 2 #incl.....
分类：
其他好文 时间：
2015-07-15 22:19:00
阅读次数：
105
经典矩形嵌套问题，先排序再求LIS。需要注意在枚举j的时候x和y都要小于i才行。 1 #include 2 #include 3 using namespace std; 4 5 const int N = 1000; 6 int dp[N]; 7 8 struct Node 9 {10 ...
分类：
其他好文 时间：
2015-07-15 20:51:32
阅读次数：
102
DAGSchedulerDAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置
记录哪个RDD或者Stage输出被物化
面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler执行
重新提交shuffle输出丢失的stage
每一个Stage内，都是独立的tasks，他们共同执行同一个compu...
分类：
其他好文 时间：
2015-07-15 19:25:54
阅读次数：
1476
Add-PSSnapin microsoft.exchange*Add-PSSnapin Microsoft.Exchange.Management.PowerShell.E2010$servers="mailbox1","mailbox2"$i_Object = New-Object PSObje...
分类：
其他好文 时间：
2015-07-13 22:09:21
阅读次数：
106
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。
根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。
图中，foreach算子通过用户自定义函数对每个数据项进行操作。...
分类：
其他好文 时间：
2015-07-12 11:10:23
阅读次数：
199
我们在启用DAG高可用性组的时候，不需要手动先去安装failovercluster组件，在启用DAG的时候会自动安装该组件，如图。该组件自动安装后，再继续配置DAG。==============================================
分类：
其他好文 时间：
2015-07-04 23:41:05
阅读次数：
293
当exchange后端服务器MBX的小版本号不一致，比如都是exchange2010SP3RU8的版本，但是小版本号不一致，这个时候我们去运行平衡exchangeDAG分布的脚本的时候，低版本服务器上面的DAG数据库可能无法正常转移到优选节点，这个时候会报无法装入数据库的错误。我们可以使用命令手动在..
分类：
移动开发 时间：
2015-07-04 16:59:28
阅读次数：
537
在exchange安装路径programfiles\microsoft\exchangeserver\v14的scripts文件夹下面，自带了一个exchange平衡DAG节点DB分布的脚本。这个脚本在我们为exchange服务器安装完补丁之后，去平衡exchange数据库的activeserver特别有用。这个脚本会去判断数据库的最佳放置节点是哪台服..
分类：
数据库 时间：
2015-07-04 16:59:17
阅读次数：
218
6.21最长不下降子序列LIS有nlgn的算法。纯学dp。Aguin矩形嵌套紫薯题。Aguin6.22UVA 103Stacking Boxes升级版的n维矩形。打印一个路径就好。然而数据太亲民。Aguin6.23发觉自己对dp的理解就有问题。紫薯啃的不明白。文章也难找到合适的。有的过于抽象。实例又...
分类：
其他好文 时间：
2015-06-27 23:58:55
阅读次数：
282
