码迷,mamicode.com
首页 > 其他好文 > 详细

datax的安装使用

时间:2020-03-01 19:33:48      阅读:92      评论:0      收藏:0      [点我收藏+]

标签:问题   url   ali   问题:   第一步   alibaba   mys   ann   dde   

大数据同步技术datax安装链接https://github.com/alibaba/DataX

配置 python2,jdk1.8

 

第一步命令查看配置模板:

cd D:\DataX\datax\bin    d:      python2 datax.py -r mysqlreader -w mysqlwriter  

技术图片

 

 

json模板

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
               "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": ["F:/作业.txt"],//文本路径
                        "encoding": "gbk",
                        "column": [//文本列
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            }
                           
                        ],
                        "fieldDelimiter": ",",//文件分隔符号
                        "skipHeader": "true"
                    }
                },
                
               "writer": {

                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "199126",
                        "column": [//表里字段
                            "time",
                            "name",
                           
                        ],

                        "session": [],

                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/kettle?useUnicode=true&characterEncoding=utf8&useSSL=false", //数据库路径
                                "table": ["my"]//数据库表
                            }
                        ]
                    }
                }
            }
        ]
    }
}

数据库里建好表后

技术图片

 

启动datax 将文件导入数据库里

将python2 D:\DataX\datax\bin\datax.py F:\json.json

技术图片

 

 

出现的问题:

  • Python版本要为2,原因前面已经说过了
  • cmd乱码解决:输入CHCP 65001
  • 数据库中的数据中文乱码解决:在json文件中jdbcUrl项加上:?characterEncoding=utf8

技术图片

 

datax的安装使用

标签:问题   url   ali   问题:   第一步   alibaba   mys   ann   dde   

原文地址:https://www.cnblogs.com/zlj843767688/p/12391257.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!