标签：学习笔记 exe man 驱动器 职责 ima 输入 作用 spark
Spark运行的时候，采用的是主从结构，有一个节点负责中央协调， 调度各个分布式工作节点。这个中央协调节点被称为驱动器（ Driver） 节点。与之对应的工作节点被称为执行器（ executor） 节点。
所有的 Spark 程序都遵循同样的结构：程序从输入数据创建一系列 RDD， 再使用转化操作派生出新的 RDD，最后使用行动操作收集或存储结果 RDD 中的数据。
驱动器程序在 Spark 应用中有下述两个职责：1.把用户程序转为任务 2.为执行器节点调度任务
执行器进程有两大作用： 第一，它们负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程； 第二，它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。
标签：学习笔记 exe man 驱动器 职责 ima 输入 作用 spark
原文地址：http://www.cnblogs.com/tonglin0325/p/6688720.html
