一.jenkins分布式作用在众多Job的场景下，单台jenkinsmaster同时执行代码clone、编译、打包及构建，其性能可能会出现瓶颈从而会影响代码部署效率，影响jenkins官方提供了jenkins分布式构建，将众多job分散运行到不同的jenkinsslave节点，大幅提高并行job的处理能力。不同的node可以分别执行测试和线上环境的操作。jenkins-系统管理-结点管理-新建节点
分类：
其他好文 时间：
2020-05-18 09:20:21
阅读次数：
54
概述 Map Reduce 分布式并行编程：借助一个集群通过多台机器同时并行处理大规模数据集 1、mapreduce编程思想 核心设计两个函数：Map函数和Reduce函数 策略：分而治之，把非常庞大的数据集，切分成非常多独立的小分片，然后为每一个分片单独地启动一个map任务，最终通过多个map任务 ...
分类：
其他好文 时间：
2020-05-18 00:31:27
阅读次数：
133
Apache Spark Job 调优以提高性能（一） 假设你已经清楚了Spark 的 RDD 转换，Action 等内容。并且已经知道用web UI来理解为什么Job要花这么长时间时，Job、stage和task 也很清楚了。 如果不清楚可以看我的视频（。。。。） 在本文中，您将了解Spark程序 ...
分类：
其他好文 时间：
2020-05-17 17:50:13
阅读次数：
102
创建自定义对象的最简单方式就是创建一个Object的实例，然后再为它添加属性和方法。 var person = new Object(); person.name = 'Nicholas'; person.age = 29; person.job = 'Software Engineer'; Per ...
分类：
编程语言 时间：
2020-05-16 12:25:51
阅读次数：
58
1.操作系统（Operation System）主要在管理与驱动硬件，因此必须能管理内存、管理装置、负责行程管理以及系统呼叫，因此能够让硬件准备好就是一个好的系统了。 2.Unix的前身是贝尔实验室（Bell lab）的Ken Thompson用汇编语言写的，后来在1971-1973年间由Denni ...
分类：
系统相关 时间：
2020-05-16 00:40:01
阅读次数：
66
一、使用 Azure Pipelines 建立CICD 1.导航到Azure DevOps上的团队项目。 2.导航到 Pipelines | Pipelines. 3. 点击 New pipeline 创建一个新的 build pipeline. 4.单击use the classic editor ...
分类：
其他好文 时间：
2020-05-14 16:03:28
阅读次数：
92
P2949 [USACO09OPEN]Work Scheduling G 题目描述 Farmer John has so very many jobs to do! In order to run the farm efficiently, he must make money on the job ...
分类：
其他好文 时间：
2020-05-14 01:53:04
阅读次数：
115
一.重要概念 1.cluster cluster是 计算，存储和网络资源的集合，k8s利用这些资源运行各种基于容器的应用 2.master master是cluster的大脑，他的主要职责是调度，即决定将应用放在哪里运行。 master运行linux操作系统，可以是物理机或者虚拟机。为了实现高可用， ...
分类：
其他好文 时间：
2020-05-13 00:29:39
阅读次数：
90
一.什么是资源？ K8S中所有的内容都抽象为资源，资源实例化之后，叫做对象 二.K8S中存在哪些资源? 1.工作负载型资源(workload) Pod , ReplicaSet , Deployment, StatefulSet, DaemonSet, Job, CronJob (Replicati ...
分类：
其他好文 时间：
2020-05-13 00:27:18
阅读次数：
69
Job的划分 1、Application : 应用，创建一个SparkContext可以认为创建了一个Application 2、Job 在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job 3、stage 阶段，每碰到一个shuffle算子，会产生一个新的 ...
分类：
其他好文 时间：
2020-05-11 23:56:54
阅读次数：
213
