码迷,mamicode.com
首页 > 其他好文 > 详细

oozie搭建手册

时间:2016-12-02 13:48:34      阅读:299      评论:0      收藏:0      [点我收藏+]

标签:3.3   div   ccf   type   lang   not   tom   fresh   img   

环境准备
mave安装
1.下载并上传maven,然后解压
tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /home
2.配置环境变量
vi /etc/profile
export MAVEN_HOME=/home/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
source /etc/profile
3.验证maven是否安装成功
执行命令
mvn -v
技术分享
 技术分享
下载压缩包oozie-4.1.0.tar.gz
1.解压
tar -zxvf oozie-4.1.0.tar.gz -C /home
2.编译
cd /home/oozie-4.1.0
bin/mkdistro.sh -DskipTests
编译成功会如下图显示
技术分享
技术分享
编译过程中可能会遇到的错误:
当日志中出现:
Failure executing javac, but could not parse the error
java.lang.OutOfMemoryError: PermGen space
技术分享
技术分享
解决方案:
因为用maven编译,所以要修改maven内存参数
进入$maven_home
cd /home/apache-maven-3.3.9/bin
编辑mvn,在其中加入
MAVEN_OPTS="$MAVEN_OPTS -Xms256m -Xmx2048m -XX:MaxPermSize=128m - XX:ReservedCodeCacheSize=1024m"
技术分享
技术分享
 
修改HDFS配置
1.修改hadoop的core-site.xml文件
技术分享
技术分享
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
其中,[USER]需要改为后面启动oozie tomcat的用户(不建议用root)
2.不重启集群而使之生效
技术分享
技术分享
执行如下命令
hdfs dfsadmin -refreshSuperUserGroupsConfiguration
yarn rmadmin -refreshSuperUserGroupsConfiguration
技术分享
 技术分享
配置oozie
1.取得压缩包
cd /home/oozie-4.1.0/distro/target/oozie-4.1.0-distro.tar.gz
2.解压缩
tar -zxvf oozie-4.1.0-distro.tar.gz
技术分享
技术分享
3.在oozie-4.1.0目录下新建 libext目录,并把ext-2.2.zip 拷贝到该目录
技术分享
技术分享
并拷贝hadoop相关jar包到该目录下:
技术分享
 
技术分享
把hadoop与tomcat冲突jar包去掉
技术分享
技术分享
mv servlet-api-2.5.jar servlet-api-2.5.jar.bak
mv jsp-api-2.1.jar jsp-api-2.1.jar.bak
mv jasper-compiler-5.5.23.jar jasper-compiler-5.5.23.jar.bak
mv jasper-runtime-5.5.23.jar jasper-runtime-5.5.23.jar.bak
拷贝mysql驱动到该目录下
技术分享
技术分享
配置数据库连接
vi /home/oozie-4.1.0/distro/target/oozie-4.1.0/conf/oozie-site.xml
技术分享
技术分享
技术分享
启动前的初始化
打war包:
bin/oozie-setup.sh prepare-war
注:在这里可能会不成功
Failed: creating new Oozie WAR zip command。。。
此时可能是因为当前linux环境中不支持zip命令
yum install zip
之后再次执行即可
初始化数据库(mysql要启动)
bin/ooziedb.sh create -sqlfile oozie.sql -run
技术分享
技术分享
修改oozie-4.2.0/oozie-server/conf/server.xml文件,注释掉下面的记录
vi /home/oozie-4.1.0/distro/target/oozie-4.1.0/oozie-server/conf/server.xml
<!--<Listener className="org.apache.catalina.mbeans.ServerLifecycleListener" />-->
上传jar包
bin/oozie-setup.sh sharelib create -fs hdfs://node1:8020 
启动oozie
bin/oozied.sh start
 技术分享
技术分享
 

oozie搭建手册

标签:3.3   div   ccf   type   lang   not   tom   fresh   img   

原文地址:http://www.cnblogs.com/dreamfly2016/p/6125103.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!