round()函数四舍五入存在一个问题,遇到5不一定进一。如下图所示: 没想到什么好办法,先改写了一下 ...
分类:
编程语言 时间:
2018-11-25 16:19:01
阅读次数:
260
DataX操作MySQL 一、 从MySQL读取 介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上,MysqlReader通过JDBC连接远程Mysql数据库,并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库,MysqlReader不支持F ...
分类:
数据库 时间:
2018-11-18 22:35:18
阅读次数:
2344
DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean ...
分类:
其他好文 时间:
2018-11-18 22:30:04
阅读次数:
258
DataX操作HDFS 读取HDFS 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orc ...
分类:
其他好文 时间:
2018-11-18 22:29:52
阅读次数:
1673
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
分类:
其他好文 时间:
2018-11-13 20:39:57
阅读次数:
245
因为公司需要使用greenplum,而官方的datax版本在导数据到greenplum时,速度是非常慢的(严格说是datax导数据到postgresql,在导入到GP时,数据走的是master,一条一条insert的,当然是慢)。 所以,这里采用了别人开发好的支持GP 的datax版本:https: ...
分类:
其他好文 时间:
2018-11-12 12:06:05
阅读次数:
4624
笔者使用的是 Unity 2018.2.0f2 + VS2017,建议读者使用与 Unity 2018 相近的版本,避免一些因为版本不一致而出现的问题。 目录 前言 一. 光照衰减 1.1 使用 LUT 1.2 关于光照衰减纹理 1.3 关于光照衰减的总结 二. 阴影 2.1 阴影是如何实现出来的 ...
分类:
编程语言 时间:
2018-10-26 00:46:02
阅读次数:
251
记录下使用crontab,datax定时同步数据遇到的问题。 1.开始使用如下配置,死活不执行。网上说crontab环境便利的问题,设置了也没反应。 后通过shell脚本内执行python命令,如下: 定时执行成功。 ...
分类:
其他好文 时间:
2018-09-10 00:56:59
阅读次数:
729
一、需求 由于公司各个部门对业务数据的需求,比如进行数据分析、报表展示等等,且公司没有相应的系统、数据仓库满足这些需求,最原始的办法就是把数据提取出来生成excel表发给各个部门,这个功能已经由脚本转成了平台,交给了DBA使用,而有些数据分析部门,则需要运维把生产库的数据同步到他们自己的库,并且需要 ...
分类:
其他好文 时间:
2018-07-31 00:26:15
阅读次数:
2332
数据分表小结标签:sharding数据表拆分背景分库、分表带来的后遗症分表策略一些注意事项背景最近一段时间内结束了数据库表拆分项目,这里做个简单的小结。本次拆分主要包括订单和优惠券两大块,这两块都是覆盖全集团所有分子公司所有业务线。随着公司的业务飞速发展,不管是存储的要求,还是写入、读取的性都基本上到了警戒水位。订单是交易的核心,优惠券是营销的核心,这两块基本上是整个平台的正向最核心部分。为了支持
分类:
其他好文 时间:
2018-07-21 18:06:02
阅读次数:
150