spring.batch.job.enabled=false#默认自动执行定义的Job(true),改为false,需要jobLaucher.run执行step单节点的多线程并行执行@BeanpublicStephelloWorldStep(StepBuilderFactorystepBuilders){returnstepBuilders.get("helloWorldStep&quo
分类:
编程语言 时间:
2020-02-13 20:52:57
阅读次数:
105
1、失败任务 apiVersion: batch/v1 kind: Job metadata: name: bad spec: template: metadata: name: bad spec: restartPolicy: Never containers: - name: box image ...
分类:
其他好文 时间:
2020-02-13 15:02:16
阅读次数:
79
术语:构建一次job指的是执行一次任务 注:到了公司,如果需要搭建jenkins环境可以找运维 jenkins使用: 创建视图 常用的两个配置: 新建任务: 可以选择构建后的步骤: 然后保存 图标状态: 工作空间位置: 控制台 配置项目代码: 方式1:通过cmd命令进入项目代码的本地文件夹运行 保存 ...
分类:
其他好文 时间:
2020-02-11 00:05:36
阅读次数:
83
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high ...
分类:
其他好文 时间:
2020-02-10 09:50:14
阅读次数:
58
弹性分布式数据集(RDD,Resilient Distributed Datasets),它具备像MapReduce等数据流模型的容错特性,并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效:一是迭代式算法,这在图应用和机器学习领域很常见;二是交互式数据挖掘工具 ...
分类:
其他好文 时间:
2020-02-09 23:55:54
阅读次数:
139
什么是DDoS攻击 DDoS攻击是Distributed Denial of Service的缩写,翻译成中文就是分布式拒绝服务。即不法黑客组织通过控制服务器等资源,发动对包括国家骨干网络、重要网络设施、政企或个人网站在内的互联网上任一目标的攻击,致使目标服务器断网,最终停止提供服务。 举个栗子,我 ...
分类:
其他好文 时间:
2020-02-09 18:15:16
阅读次数:
76
看反压 通常最后一个被压高的subTask的下游就是job的瓶颈之一 看checkpoint时长 checkpoint时长能在一定程度影响job的整体吞吐 看核心指标 延迟和吞吐是最重要的指标 资源使用率 提高资源利用率是最终目的。排查首先看GC 常见性能问题 JSON序列化和反序列化 MAP和Se ...
分类:
其他好文 时间:
2020-02-09 11:43:28
阅读次数:
80
这里报错主要是因为docker启动时需要默认开启selinux,但是可能由于安装某些应用,我们关闭了selinux,所以此时我们需要设置/etc/sysconfig/docker 将下图标黄位置改为false,即设置docker启动时默认不需要开启selinux # /etc/sysconfig/d ...
分类:
其他好文 时间:
2020-02-08 11:35:44
阅读次数:
94
五 DaemonSet,Job,CronJob DaemonSet举例 apiVersion: apps/v1kind: DaemonSetmetadata: name: daemonset-example labels: app: daemonsetspec: selector: matchLab ...
分类:
Web程序 时间:
2020-02-08 00:52:18
阅读次数:
87
Jenkins Job构建 jenkins安装见https://www.cnblogs.com/wengshaohang/p/12272952.html Freestyle Job与Pipeline Job区别: Freestyle Job需要在页面添加模块配置项与参数完成配置;每个Job仅能实现一 ...
分类:
其他好文 时间:
2020-02-07 17:04:40
阅读次数:
76