从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了Res...
分类：
其他好文 时间：
2014-10-21 10:16:02
阅读次数：
221
历史项管理根据标准定义，由Page管理一个Joint Session History, 包含了各个子Frame的历史项。逻辑上分为三个层次:Page，Frame，以及JS Binding的接口。页面加载的核心是由Frame通过FrameLoader来完成的，HistoryController及BackForwardController可以视为页面加载进行历史项操作的接口。 Frame层次中通过HistoryController, Page层次中通过BackForwardController进行历史项操作。
...
分类：
Web程序 时间：
2014-10-21 01:03:40
阅读次数：
341
监控端工具ansible计划任务*/10****/dev/shm/history_log.sh构建脚本vim/dev/shm/history_log.sh#!/bin/bashfunctionhistory_log(){ localtime time=`date-d"-10min""+%F%H:%M"` tim=${time%[0-9]} remote_ab-htest-c"tail-300/tmp/all_history"|grep"$tim">>/tmp/All_hi..
分类：
系统相关 时间：
2014-10-20 02:18:43
阅读次数：
238
1、错误描述
TypeError: Error #1034: 强制转换类型失败:无法将 mx.controls::DataGrid@9aa90a1 转换为 spark.core.IViewport。
at mx.binding::Binding/defaultDestFunc()[E:\dev\4.0.0\frameworks\projects\framework\src\mx\binding...
分类：
其他好文 时间：
2014-10-19 18:41:58
阅读次数：
266
在上文《Spark技术内幕：Stage划分及提交源码分析》中，我们分析了Stage的生成和提交。但是Stage的提交，只是DAGScheduler完成了对DAG的划分，生成了一个计算拓扑，即需要按照顺序计算的Stage，Stage中包含了可以以partition为单位并行计算的Task。我们并没有分析Stage中得Task是如何生成并且最终提交到Executor中去的。
这就是本文的主题。...
分类：
其他好文 时间：
2014-10-19 18:38:46
阅读次数：
299
1.什么是MLBaseMLBase是Spark生态圈的一部分，专注于机器学习，包含三个组件：MLlib、MLI、ML Optimizer。ML Optimizer: This layer aims to automating the task of ML pipeline construction....
分类：
编程语言 时间：
2014-10-19 18:30:41
阅读次数：
336
结对编程人员：12061174 李靖 12061167 林旭鹏 文件位于TFS上的Pairproject11中算法核心：两个关键---1.history direction变量 2电梯里面有没有人。 电梯初始的方向默认为向上，在每个tick时间点电梯如果在底层...
分类：
编程语言 时间：
2014-10-19 01:22:25
阅读次数：
263
在一个RDD触发了一个action（比如count，collect）时，任务是如何被提交到？什么是Stage？DAGScheduler的作用是什么?它是如何划分Stage的？本文将基于源码，进行深入分析。...
分类：
其他好文 时间：
2014-10-19 00:08:01
阅读次数：
308
Truck History
Time Limit: 2000MS
Memory Limit: 65536K
Total Submissions: 18981
Accepted: 7321
Description
Advanced Cargo Movement, Ltd. uses trucks of different typ...
分类：
其他好文 时间：
2014-10-18 15:32:43
阅读次数：
194
鏈接： http://poj.org/problem?id=1325
Description
As we all know, machine scheduling is a very classical problem in computer science and has been studied for a very long history. Scheduling probl...
分类：
系统相关 时间：
2014-10-18 15:31:28
阅读次数：
194
