一、下载安装scala 1、官网下载 2、spar01和02都建立/opt/scala目录，解压tar -zxvf scala-2.12.8.tgz 3、配置环境变量 vi /etc/profile 增加一行 export SCALA_HOME=/opt/scala/scala-2.12.8 同时把 ...
分类：
其他好文 时间：
2018-12-07 11:47:15
阅读次数：
164
创建spark用户组，组ID1000groupadd-g1000spark在spark用户组下创建用户ID2000的spark用户获取视频中文档资料及完整视频的伙伴请加QQ群：947967114useradd-u2000-gsparkspark设置密码passwdspark修改sudo权限chmodu+w/etc/sudoersvi/etc/sudoers找到rootALL=(ALL)ALL添加s
分类：
其他好文 时间：
2018-12-02 00:41:21
阅读次数：
198
1 Spark安装地址 运行环境:CentOS 6.8 Hadoop 2.7.2 JDK 1.8 Scala 2.11.8 Spark 2.1.1 集群以3台机器模拟:hadoop202 hadoop203 hadoop204 1．官网地址 http://spark.apache.org/ 2．文档 ...
分类：
其他好文 时间：
2018-11-27 22:12:32
阅读次数：
266
Spark是一个基于内存的计算框架，本文主要是介绍Spark的独立部署。 ...
分类：
其他好文 时间：
2018-11-14 14:30:38
阅读次数：
206
1.spark主要有四种运行模式：Loca 、standalone、yarn、mesos。 1）Local模式：在一台机器上，一般用于开发测试 2）standalone模式：完全独立的spark集群，不依赖其他集群，分为Master和work。 客户端向Master注册应用，Master向work发 ...
分类：
其他好文 时间：
2018-10-17 10:58:29
阅读次数：
232
0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ] 启动 master + worker 进程 [ mesos ] -- [ Yarn ] -- 2. Spark ...
分类：
其他好文 时间：
2018-10-13 16:53:19
阅读次数：
118
Spark集群 0.0体验安装Spark在集群单节点 1.tar tar xzvf xxx.tgz C /soft/ ln s /soft/spark 2.1.0 bin hadoop2.7 /soft/spark 2.配置环境变量 SPARK_HOME=/soft/spark PATH=$SPAR ...
分类：
其他好文 时间：
2018-10-13 00:03:34
阅读次数：
189
spark job spark job提交 三级调度框架, DagSch,计算stage，提交阶段，将stage映射成taskset，提交taskset给tasksch。 TaskSch BackendSch setMaster("local[n]") n表示使用n个线程模拟的spark集群下的wo ...
分类：
其他好文 时间：
2018-10-12 23:39:15
阅读次数：
177
在编写程序时，不可避免会用到第三方jar，有三种使用方式： 1、将运行程序需要的所有第三方 jar，分发到所有spark的/soft/spark/jars下 2、将第三方jar打散，和自己的源码打成一个jar包，如3.1中 3、在spark-submit命令中，通过--jars指定使用的第三方jar ...
分类：
编程语言 时间：
2018-10-10 21:56:51
阅读次数：
214
