码迷,mamicode.com
首页 > 其他好文 > 详细

sparkR集群启动脚本的封装。

时间:2017-03-24 18:03:24      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:ges   str   com   bin   ota   占用   cores   conf   n+1   

sparkR默认是以单机方式运行的。实现sparkR的集群启动,需要指定master地址,占用内存、CPU,及UI端口等,这对分析人员来说是比较麻烦的。

如何实现对其启动的封装,方便分析人员来使用:

vi bdcmagicR

 

#!/bin/bash function rand(){ min=$1 max=$(($2-$min+1)) num=$(($RANDOM+1000000000)) #增加一个10位的数再求余 echo $(($num%$max+$min)) } rnd=$(rand 400000 500000) echo $rnd /opt/modules/spark/bin/sparkR --master spark://10.130.2.20:7077 --executor-memory 8g --total-executor-cores 45 --conf spark.ui.port=$rnd

 

 

说明:

1)首先使用一个随机函数生成一个40000到50000之间随机数,用来做UI的端口。

2)然后指定指定master地址,占用内存、CPU。

3)最后把bdcmagicR 加入环境变量即可。

使用时,在终端输入 bdcmagicR

技术分享

即可以集群方式启动运行sparkR

sparkR集群启动脚本的封装。

标签:ges   str   com   bin   ota   占用   cores   conf   n+1   

原文地址:http://www.cnblogs.com/awishfullyway/p/6612366.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!