码迷,mamicode.com
首页 > Web开发 > 详细

Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案

时间:2014-10-13 22:51:47      阅读:659      评论:0      收藏:0      [点我收藏+]

标签:style   color   strong   文件   sp   on   问题   log   amp   

一、Crontab -e 加入输出Log

*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1

二、查看Log发现,找不到Hadoop

三、脚本中指定Hadoop完整路径

#!/bin/sh
#upload list to hdfs


yesterday=`date --date=‘1 day ago‘ +%Y%m%d`

echo $yesterday
/home/hadoop/bin/hadoop fs -put /qiwen_list/qiwen_${yesterday}.csv /qiwen_list

 

再次执行,问题解决。

Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案

标签:style   color   strong   文件   sp   on   问题   log   amp   

原文地址:http://www.cnblogs.com/MyXQ/p/4023097.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!