标签：height tac ade http 文件 实验室 net Kubernete 实现
Apache Spark™是用于大规模数据处理的统一分析引擎。
从右侧最后一条新闻看，Spark也用于AI人工智能
运行速度提高100倍。
Apache Spark使用最先进的DAG调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能。
用Java，Scala，Python，R和SQL快速编写应用程序。
Spark提供超过80个高级操作，可轻松构建并行应用程序。你可以 从Scala，Python，R和SQL shell 交互使用它。
Mesos：Spark可以运行在Mesos里面（Mesos 类似于yarn的一个资源调度框架）
standalone：Spark自己可以给自己分配资源（master，worker）
YARN：Spark可以运行在yarn上面
Kubernetes：Spark接收 Kubernetes的资源调度
Spark组成(BDAS)：全称伯克利数据分析栈，通过大规模集成算法、机器、人之间展现大数据应用的一个平台。也是处理大数据、云计算、通信的技术解决方案。
它的主要组件有：
SparkCore：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。
SparkSQL：Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持 多种数据源，包含Hive表，parquest以及JSON等内容。
SparkStreaming： 是Spark提供的实时数据进行流式计算的组件。
MLlib：提供常用机器学习算法的实现库。
GraphX：提供一个分布式图计算框架，能高效进行图计算。
BlinkDB：用于在海量数据上进行交互式SQL的近似查询引擎。
Tachyon：以内存为中心高容错的的分布式文件系统。
标签：height tac ade http 文件 实验室 net Kubernete 实现
原文地址：https://www.cnblogs.com/qingyunzong/p/8886338.html
