码迷,mamicode.com
首页 > 系统相关 > 详细

Mac spark 单机部署

时间:2018-05-18 20:12:59      阅读:247      评论:0      收藏:0      [点我收藏+]

标签:被占用   efi   缓存   get   https   配置   library   文件   file   

因为应用需要开始学习数据处理技术,网上多使用spark,随大流也选用spark (spark性能是hadoop的100倍,我也是道听途说,没有亲测。)

1.ssh免密登录配置

Mac 自带ssh 不需安装,只需要生成秘要并放入秘要文件中即可

生成秘要文件: ssh-keygen -t rsa
第一个输入提示是 生成文件名可以直接回车使用默认的文件名,如果默认文件名已经有文件存在会有提示是否覆盖,根据提示输入yes即可覆盖原有文件。紧接着提示输入密码和确认密码。
生成的文件默认在~/.ssh/目录中,然后将id_rsa.pub文件写入authorized_keys中 :cat id_rsa.pub >> authorized_key
authorized_keys 是ssh登录是认证文件,如果存在key可以认为是信任用户直接登录。
文件夹下hosts(可能不存在)是一个缓存文件,记录登录的用户ip或用户名,如果用户key有变动可以删除此文件。
Mac中不允许root用户使用ssh登录(安全策略)默认最大连接数是10 ,默认不开启秘要登录。
开启秘要登录:PubkeyAuthentication yes
最大连接数:MaxStartups 10
启动sshd服务:
 sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist
停止sshd服务:
sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist
查看是否启动:
sudo launchctl list | grep ssh

可能会出现文件权限问题,或者是ip 黑名单 ,端口被占用或其他问题可以使用 shh -v localhost 查看日志分析。

2.配置JAVA_HOME 环境变量
mac中使用 /usr/libexec/java_home -V 查看jdk安装路径 在~/.bash_profile 中添加JAVA_HOME环境变量并重新加载 source ~/.bash_profile

3.下载对应版本的hadoop (本人使用的是2.8.3版本其他版本可另行寻找资料)
本人是使用hadoop程序编译安装的,可以避免出现下载版本native加载失败的问题
hadoop release文件下载路径 http://hadoop.apache.org/releases.html

安装mevan 并设置环境变量 可自行产考其他教程,
安装protobuf2.5.0
安装cmake :brew install cmak
安装openssl跟snappy :brew install openssl ,brew install snappy
上述安装成功后进入hadoop-2.8.3-src文件夹

1:终端执行

cmake  /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64

执行成功后

2:打开配置Java环境变量的地方

3:添加下面两行(具体根据自己电脑上的openssl安装版本还有文件地址配置)

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2l

export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2l/include

4:记住修改环境变量后一定要执行立即生效命令,然后再执行

cmake  /Users/shihaolin/opt/software/hadoop-2.7.4-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=6


然后执行
mvn clean package -Pdist,native -DskipTests -Dtar
编译成功后可以将编译后文件放到需要的位置,编译后文件在 dict项目target文件夹中。
编译参考:https://blog.csdn.net/syso_alt_hao/article/details/77655862
之后开始配置hadoop
参考https://www.cnblogs.com/bigdataZJ/p/hellospark.html

编译中可能会出现权限问题,建议使用普通用权限安装。



 

Mac spark 单机部署

标签:被占用   efi   缓存   get   https   配置   library   文件   file   

原文地址:https://www.cnblogs.com/wenyth/p/9057559.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!