Oozie 官方示例 自定义实现workcount的workflow 自定义shell的workflow 复杂DAG图设计(其实也就是顺序,并发执行多个job) coordinator的编写 ...
分类：
其他好文 时间：
2016-11-24 15:18:09
阅读次数：
292
4.1 bin/oozie ..... 提交任务 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job ...
分类：
其他好文 时间：
2016-11-16 07:36:56
阅读次数：
166
3.1官方的案例 （1）Oozie根目录下找到 oozie-examples.tar.gz （2）解压tar -zxvf oozie-examples.tar.gz 生成example文件夹 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozi ...
分类：
其他好文 时间：
2016-11-16 07:36:34
阅读次数：
280
【错误原因】hadoop的core-site.xml配置错误 把用户名hadoop配置成了主机名hadoop01 <!-- OOZIE --><property> <name>hadoop.proxyuser.hadoop01.hosts</name> <value>*</value></prope ...
分类：
其他好文 时间：
2016-11-16 02:56:20
阅读次数：
416
说明：hadoop用的是hadoop-2.5.0-cdh5.3.6 Oozie用的是oozie-4.0.0-cdh5.3.6 该测试环境用户名为hadoop 主机名为hadoop01 2.4安装部署 （1）下载上传到目录： /opt/software/cdh-5.3.6 一个安装包 一个ExtJS包 ...
分类：
其他好文 时间：
2016-11-16 02:20:38
阅读次数：
323
终于将这个神秘的寻象人 oozie 安装配置成功了，这个困扰我好几天， 当看到如下的画面， 我觉得值！ 废话少说，看我如何编译和安装过程： （已经将hadoop2.5.2HA 的环境搭建起来了，hive,habase, flume,stom 都有了 Linux环境：centos6.5 64bit j ...
分类：
其他好文 时间：
2016-10-29 14:31:47
阅读次数：
314
mysql 进入mysqldb SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user; 查询所有用户 CREATE USER 'oozie'@'%' IDENTIFIED BY 'ooz ...
分类：
数据库 时间：
2016-08-24 19:23:31
阅读次数：
486
一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Flume入门实例 4. 《OD大数据实战》Kafka入门实例 5. 《OD大数据实战》Oozie环境搭建 6. 7. 《OD大数据实战》HBase环境搭建 二、 ...
分类：
其他好文 时间：
2016-08-17 10:32:16
阅读次数：
1109
一、关机后服务重新启动 1. 启动hadoop服务 2. 启动hive服务 3. 启动zookeeper服务 4. 启动kafka服务 5. 启动oozie服务 6. 启动hbase服务 99. 大数据UI服务 ...
分类：
其他好文 时间：
2016-08-10 19:13:20
阅读次数：
173
一、引入 MapReduce Job Hive 脚本任务 同一个业务：先后、定时调度 工作流： 定义工作流程 activity jbpm oozie： 大数据工作流定义与调度框架 专门定义与调度MapReduce Job工作流程 拓展：shell、hive、sqoop、hdfs oozie演变过程： ...
分类：
其他好文 时间：
2016-08-07 12:20:31
阅读次数：
122
