如何提高 Flink 任务性能 一、Operator Chain 为了更高效地分布式执行，Flink 会尽可能地将 operator 的 subtask 链接（chain）在一起形成 task，每个 task 在一个线程中执行。将 operators 链接成 task 是非常有效的优化：它能减少线程 ...
分类：
其他好文 时间：
2019-12-29 14:44:39
阅读次数：
244
使用itertools工具类中的chain方法,可以很方便的将多个iterable对象一起遍历. 不过,对于dict类型的iterable对象,只会遍历key. from itertools import chain my_list = [1, 2, 3] my_dict = { 'name': ' ...
分类：
其他好文 时间：
2019-12-27 23:55:08
阅读次数：
129
yield from 是python3.3中新增的语法, 语法结构: yield from iterable 在上一篇文章中自定义了一个my_chain函数,现在可以yield from方法对其进行精简 # 自定义一个chain def my_chain(*args, **kwargs): """注 ...
分类：
其他好文 时间：
2019-12-27 23:30:28
阅读次数：
83
二、鼠标和键盘模拟用户行为 ①导入 ActionChains：from selenium.webdriver.common.action_chains import ActionChains ②用于生成模拟用户行为：ActionChains(driver) ③执行存储行为：perform() ④例： ...
分类：
编程语言 时间：
2019-12-27 21:56:00
阅读次数：
94
最近刚好涉及到从2个不同集合中找出不同的元素的需求，以下为测试代码 1、利用 apache collection 工具内中的方法，附上坐标 <dependency> <groupId>commons-collections</groupId> <artifactId>commons-collecti ...
分类：
其他好文 时间：
2019-12-27 19:59:04
阅读次数：
136
常用的utils import org.apache.commons.lang3.ArrayUtils; import org.apache.commons.lang3.StringUtils; import java.io.File; import java.io.IOException; imp ...
分类：
其他好文 时间：
2019-12-27 13:25:18
阅读次数：
105
贴上aop配置 import com.alibaba.fastjson.JSONObject; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.aspect ...
分类：
编程语言 时间：
2019-12-27 11:20:53
阅读次数：
286
前述 数据库实例有buffercache，buffercache中有很多buffer buffercache里面单独有一块内存区域用来记录，有很多链是chain LRU链：least recent use最近最少使用，LRU上链的是干净块 LRUW链：least recently used writ ...
分类：
数据库 时间：
2019-12-27 09:44:25
阅读次数：
124
业务需要 需要将一个存储的目标文件里的文件全部拷贝到另一个存储里面去，保持文件结构。 目前采用 org.apache.commons.net.ftp包下相关类来达到ftp连接 获取文件目录信息，拷贝文件等功能 由于需要拷贝的存储数据很多，会达到100W+的文件数量，在获取文件目录信息是遇到了问题。在 ...
分类：
编程语言 时间：
2019-12-26 21:17:27
阅读次数：
111
Apache Commons Apache Commons有很多子项目，常用的项目如下 BeanUtils 提供了一系列对java bean的操作，读取和设置属性值等 map和bean的互相转换 我们将对象放在缓存中通常用redis中的hash，如下 这种场景下map和bean的互相转换的工具类就特 ...
分类：
其他好文 时间：
2019-12-26 21:09:16
阅读次数：
117
