限流就是通过对并发访问/请求进行限速或一个时间窗口内的请求进行限速，从而达到保护系统的目的。一般系统可以通过压测来预估能处理的峰值，一旦达到设定的峰值阀值，则可以拒绝服务（定向错误页或告知资源没有了）、排队或等待（例如：秒杀、评论、下单）、降级（返回默认数据）。 限流不能乱用，否则正常流量会出现一些 ...
分类：
其他好文 时间：
2018-11-26 22:05:07
阅读次数：
213
round()函数四舍五入存在一个问题，遇到5不一定进一。如下图所示： 没想到什么好办法，先改写了一下 ...
分类：
编程语言 时间：
2018-11-25 16:19:01
阅读次数：
260
apache 有个开源库： "commons net" ，这个开源库中包括了各种基础的网络工具类，我使用了这个开源库中的 FTP 工具。 但碰到一些问题，并不是说是开源库的 bug，可能锅得算在产品头上吧，各种奇怪需求。 问题 当将网络限速成 1KB/S 时，使用 commons net 开源库中的 ...
分类：
其他好文 时间：
2018-11-23 14:07:31
阅读次数：
262
DataX操作MySQL 一、 从MySQL读取 介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库，MysqlReader不支持F ...
分类：
数据库 时间：
2018-11-18 22:35:18
阅读次数：
2344
DataX的安装 1. 可下载tar包 https://github.com/alibaba/DataX/blob/master/userGuid.md 2. 下载源码自己编译 git clone https://github.com/alibaba/DataX.git打包mvn -U clean ...
分类：
其他好文 时间：
2018-11-18 22:30:04
阅读次数：
258
DataX操作HDFS 读取HDFS 1 快速介绍 HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile（text）、orc ...
分类：
其他好文 时间：
2018-11-18 22:29:52
阅读次数：
1673
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
分类：
其他好文 时间：
2018-11-13 20:39:57
阅读次数：
245
因为公司需要使用greenplum，而官方的datax版本在导数据到greenplum时，速度是非常慢的（严格说是datax导数据到postgresql，在导入到GP时，数据走的是master，一条一条insert的，当然是慢）。 所以，这里采用了别人开发好的支持GP 的datax版本：https: ...
分类：
其他好文 时间：
2018-11-12 12:06:05
阅读次数：
4624
近年来，因为城市建设及其技术的发展，环境污染也是越来越大，雾霾天气也是大家都习以为常的天气啦，现在城市环境管理受到广泛重视，老式的渣土车“抛、洒、遗、漏”的弊端也成为城市雾霾的一个原因之一，所以政府相关部门在[整治渣土车请添加链接描述](http://www.4001580001.com/index.php/List/index/cid/176.html)时对渣土车的外观以及密封性要求也是越来越高
分类：
其他好文 时间：
2018-11-08 18:14:56
阅读次数：
188
