码迷,mamicode.com
首页 > 其他好文 > 详细

crontab定时执行datax

时间:2018-09-10 00:56:59      阅读:729      评论:0      收藏:0      [点我收藏+]

标签:etc   contain   bin   trace   定时执行   成功   总数   out   col   

记录下使用crontab,datax定时同步数据遇到的问题。

1.开始使用如下配置,死活不执行。网上说crontab环境便利的问题,设置了也没反应。

[root@hxjk_test_mysql_redis_file test]# crontab -l
SHELL=/bin/bash
* 1 * * * sh /test/test.sh
*/3 * * * * python /data/datax/bin/datax.py /data/datax/job/job.json

 后通过shell脚本内执行python命令,如下:

[root@hxjk_test_mysql_redis_file test]# crontab -l
SHELL=/bin/bash
* 1 * * * sh /test/test.sh
*/3 * * * * sh /data/crontab/mysqltomysql1.sh
[root@hxjk_test_mysql_redis_file crontab]# more mysqltomysql1.sh
#!/bin/sh
source /etc/profile
python /data/datax/bin/datax.py /data/datax/job/job.json

定时执行成功。

Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (2018-09-09 23:54:13.509 [job-0] INFO  JobContainer - PerfTrace not enable!)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (2018-09-09 23:54:13.509 [job-0] INFO  StandAloneJobContainerCommunicator - Total 53 records, 4398 b
ytes | Speed 439B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.030s | Percentage 100.00%)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (2018-09-09 23:54:13.510 [job-0] INFO  JobContainer - )
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (任务启动时刻                    : 2018-09-09 23:54:02)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (任务结束时刻                    : 2018-09-09 23:54:13)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (任务总计耗时                    :                 10s)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (任务平均流量                    :              439B/s)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (记录写入速度                    :              5rec/s)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (读出记录总数                    :                  53)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT (读写失败总数                    :                   0)
Sep  9 23:54:13 hxjk_test_mysql_redis_file CROND[23864]: (root) CMDOUT ()
[root@hxjk_test_mysql_redis_file crontab]# 

 

crontab定时执行datax

标签:etc   contain   bin   trace   定时执行   成功   总数   out   col   

原文地址:https://www.cnblogs.com/gexiaoshan/p/9616038.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!