前言 本文主要是想简要说明Flink在集群部署、任务提交、任务运行过程中资源情况,若表述有误欢迎大伙留言分享,非常感谢! 一、集群部署阶段 集群部署这里指的是Flink standalone模式,因为在Yarn模式(包括session、single job模式)是可以仅通过Flink client提 ...
分类:
其他好文 时间:
2019-07-29 00:54:27
阅读次数:
108
上篇文章搭建了Jenkins-slave的分布式测试环境,我一直在想一个问题,使用这种模式能不能实现并发的自动化测试?我的想法是:同一套UI自动化的测试代码,是否能够通过一个Job绑定多个slave,让多个slave同时执行这一个Job,我觉得实际工作中应该会有这种需求,但是网上搜索了好多资料并没... ...
分类:
其他好文 时间:
2019-07-28 14:13:35
阅读次数:
279
Hive的参数设置方式 1、配置文件 (全局有效) 2、命令行参数(对 hive 启动实例有效) 3、参数声明 (对 hive 的连接 session 有效) (1)配置文件 Hive 的配置文件包括: A. 用户自定义配置文件:$HIVE_CONF_DIR/hive-site.xml B. 默认配 ...
分类:
其他好文 时间:
2019-07-26 14:48:32
阅读次数:
180
前提准备: 先在数据库中建立quartz需要的11张表(我这里用的是Oracle数据库),根据不同的数据库quartz分别提供了不同的初始化sql文件,sql文件路径在 quartz-2.3.0-SNAPSHOT-0724\src\org\quartz\impl\jdbcjobstore下: Sch ...
分类:
数据库 时间:
2019-07-26 01:18:52
阅读次数:
602
MapReduce 实例一:(进行文件的分词读取) 1.1 首先导入架包 1.2 编写Mapper 1.3 编写Reduce 1.4 编写job驱动 1.5 在hsfs 中的方法: [root@head42 ~]# hadoop jar mapreduce-1.0-SNAPSHOT.jar com. ...
分类:
其他好文 时间:
2019-07-25 00:53:34
阅读次数:
184
任务调度可以从一个Action类算子开始,因为Action类算子会触发一个job的执行 划分stage,以taskSet形式提交任务,DAGScheduler 类中getMessingParentStages()方法是切割job划分stage ...
分类:
其他好文 时间:
2019-07-24 22:22:40
阅读次数:
111
Tired of doing the same job? Get your hands on 700-551 exam It is the nature of the human being that he/she will get tired of doing the same task over ...
分类:
其他好文 时间:
2019-07-24 16:39:32
阅读次数:
127
Tired of doing the same job? Get your hands on 500-651 exam It is the nature of the human being that he/she will get tired of doing the same task over ...
分类:
其他好文 时间:
2019-07-24 16:37:01
阅读次数:
110
Tired of doing the same job? Get your hands on 500-301 exam It is the nature of the human being that he/she will get tired of doing the same task over ...
分类:
其他好文 时间:
2019-07-24 16:35:01
阅读次数:
111
Tired of doing the same job? Get your hands on 352-011 exam It is the nature of the human being that he/she will get tired of doing the same task over ...
分类:
其他好文 时间:
2019-07-24 16:33:29
阅读次数:
111