码迷,mamicode.com
首页 > 其他好文 > 详细

Spark知识整理(未完待续)

时间:2018-07-15 13:50:23      阅读:143      评论:0      收藏:0      [点我收藏+]

标签:executor   管理器   linux   img   bsp   系统   local   运行   png   

一、Spark支持的安装模式:

1、伪分布式(一台机器即可)

2、全分布式(至少需要3台机器)

二、Spark的安装配置

1、准备工作

  • 安装Linux和JDK1.8
  • 配置Linux:关闭防火墙、主机名、免密码登陆

2、安装部署Spark

  • 解压:tar z-xvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/trainning/
  • 核心配置文件 :con/spark-env.sh (cp spark-env.sh.template spark-env.sh)
  • 技术分享图片(伪分布式配置内容)

  • 启动:sbin/start-all.sh (出现Master和Worker进程)
  • Web监控:http://hostname:8080

三、Spark执行工具

  • spark-shell : 交互式命令工具
  • spark-submit :应用程序提交工具

四、Spark运行模式和交互式Shell启动模式

1、local(本地模式)

单机运行,通常用于测试   

  • bin/spark-shell --master local    (只启动一个executor)
  • bin/spark-shell --master local[2] (启动2个executor)
  • bin/spark-shell --master local[*] (启动跟cpu数目相同的executor)

2、standalone(独立模式)

  独立运行在一个集群中

  • bin/spark-shell --master spark://hostname:7077   (hostname可换成IP)

3、YARN/mesos

  运行在资源管理器系统上,比如YARN说mesos

  Spark on YARN存在两种模式 : yarn-client 和 yarn-cluster

  • bin/spark-shell --master yarn-client
  • bin/spark-shell --master yarn-cluster

 

 

    

  

Spark知识整理(未完待续)

标签:executor   管理器   linux   img   bsp   系统   local   运行   png   

原文地址:https://www.cnblogs.com/chengzipg/p/9313269.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!