一、使用 Azure Pipelines 建立CICD 1.导航到Azure DevOps上的团队项目。 2.导航到 Pipelines | Pipelines. 3. 点击 New pipeline 创建一个新的 build pipeline. 4.单击use the classic editor ...
分类：
其他好文 时间：
2020-05-14 16:03:28
阅读次数：
92
P2949 [USACO09OPEN]Work Scheduling G 题目描述 Farmer John has so very many jobs to do! In order to run the farm efficiently, he must make money on the job ...
分类：
其他好文 时间：
2020-05-14 01:53:04
阅读次数：
115
一.重要概念 1.cluster cluster是 计算，存储和网络资源的集合，k8s利用这些资源运行各种基于容器的应用 2.master master是cluster的大脑，他的主要职责是调度，即决定将应用放在哪里运行。 master运行linux操作系统，可以是物理机或者虚拟机。为了实现高可用， ...
分类：
其他好文 时间：
2020-05-13 00:29:39
阅读次数：
90
一.什么是资源？ K8S中所有的内容都抽象为资源，资源实例化之后，叫做对象 二.K8S中存在哪些资源? 1.工作负载型资源(workload) Pod , ReplicaSet , Deployment, StatefulSet, DaemonSet, Job, CronJob (Replicati ...
分类：
其他好文 时间：
2020-05-13 00:27:18
阅读次数：
69
Job的划分 1、Application : 应用，创建一个SparkContext可以认为创建了一个Application 2、Job 在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job 3、stage 阶段，每碰到一个shuffle算子，会产生一个新的 ...
分类：
其他好文 时间：
2020-05-11 23:56:54
阅读次数：
213
Flink 开发环境通常来讲，任何一门大数据框架在实际生产环境中都是以集群的形式运行，而我们调试代码大多数会在本地搭建一个模板工程，Flink 也不例外。 Flink 一个以 Java 及 Scala 作为开发语言的开源大数据项目，通常我们推荐使用 Java 来作为开发语言，Maven 作为编译和包 ...
分类：
编程语言 时间：
2020-05-11 23:48:25
阅读次数：
101
string jsonText = "{'Total':'0','Rows':[{'id':'31','project':'6','project_name':'一卡通','name':'接口测试！','assignedTo':'zhangsan'," +"'realname':'张三','estS ...
分类：
编程语言 时间：
2020-05-11 18:32:39
阅读次数：
348
什么是 Redis 集群 Redis 集群是一个分布式（distributed）、容错（fault-tolerant）的 Redis 实现，集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集（subset）。 Redis 集群中不存在中心（central）节点或者代理（proxy）节 ...
分类：
其他好文 时间：
2020-05-11 15:46:26
阅读次数：
70
一、Hive-sql优化 #增加reducer任务数量（拉取数量分流） set mapred.reduce.tasks=20; #在同一个sql中的不同的job是否可以同时运行,默认为false set hive.exec.parallel=true; #增加同一个sql允许并行任务的最大线程数 s ...
分类：
数据库 时间：
2020-05-11 01:21:52
阅读次数：
80
it's fine to use shell script to get job done username='pat' wget -N -O "github_user.list" "https://api.github.com/users/${username}/repos?per_page=10 ...
分类：
其他好文 时间：
2020-05-10 19:40:06
阅读次数：
82
