Spark可以运行在各种集群管理器上，并通过集群管理器访问集群中的其他机器。 ...
分类：
其他好文 时间：
2018-10-10 14:33:40
阅读次数：
210
1 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 进入到Spark2.1.1的安装目录，命令是： 执行命令，用单 ...
分类：
其他好文 时间：
2018-09-28 15:24:33
阅读次数：
183
通过Ambari(HDP)或者Cloudera Management (CDH)等集群管理服务安装和部署在此不多介绍，只需要在界面直接操作和配置即可，本文主要通过原生安装，熟悉安装配置流程。 1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 ...
分类：
其他好文 时间：
2018-09-12 17:59:35
阅读次数：
175
sparkcontext是spark应用程序的入口,每个spark应用都会创建sparkcontext,用于连接spark集群来执行计算任务.在sparkcontext初始化过程中会创建SparkEnv,SparkUI,TaskSchedule,DAGSchedule等多个核心类,我们会逐个分析他们 ...
分类：
其他好文 时间：
2018-08-27 21:57:22
阅读次数：
172
## 06、部署Spark程序到集群上运行 ### 6.1 修改程序代码 1. 修改文件加载路径 在spark集群上执行程序时，如果加载文件需要确保路径是所有节点能否访问到的路径，因此通常是hdfs路径地址。所以需要修改代码中文件加载路径为hdfs路径： ```scala ... //指定hdfs路... ...
分类：
其他好文 时间：
2018-08-27 21:57:16
阅读次数：
164
## 04、Spark Standalone集群搭建 ### 4.1 集群概述 独立模式是Spark集群模式之一，需要在多台节点上安装spark软件包，并分别启动master节点和worker节点。master节点是管理节点，负责和各worker节点通信，完成worker的注册与注销。worker节... ...
分类：
其他好文 时间：
2018-08-27 21:39:30
阅读次数：
125
一般情况下，我们启动spark集群都是start-all.sh或者是先启动master(start-master.sh),然后在启动slave节点(start-slaves.sh)，其实翻看start-all.sh文件里面的代码，可以发现它里面其实调用的执行的也是start-master.sh和st ...
分类：
其他好文 时间：
2018-08-16 20:55:08
阅读次数：
179
idea开发Scala语言 写的WordCount 可以上传到Spark集群测试 ...
分类：
其他好文 时间：
2018-08-09 20:07:13
阅读次数：
123
Spark官方文档翻译，有问题请及时指正，谢谢。 Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的，分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python ...
分类：
其他好文 时间：
2018-08-09 12:09:38
阅读次数：
218
主要包括以下三部分，本文为第三部分： 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spark对本地文件进行测试学习，可以不用安装上面的hadoop环境，若要结合 ...
分类：
其他好文 时间：
2018-07-15 21:23:54
阅读次数：
169
