JDK安装 设置hostname 设置机器hosts 创建jdk目录 上传jdk包 打开winSCP工具，通过winscp工具上传java jdk到linux 的/opt/soft文件夹下 解压jdk 将jdk文件解压到module文件夹下,命令如下： 设置jdk的环境变量 在文件末尾添加jdk的环 ...
分类：
其他好文 时间：
2019-08-10 19:18:29
阅读次数：
131
k8s的部署架构 kubernetes中有两类资源，分别是master和nodes，master和nodes上跑的服务如下图， kube-apiserver | kubelet kube-controller-manager | kube-scheduler | kube-proxy k8s mas ...
分类：
Web程序 时间：
2019-08-08 14:57:56
阅读次数：
134
scheduler定时调度系统是大多行业项目都需要的，传统的spring-job模式，个人感觉已经out了，因为存在很多的问题，特别是定时调度的追加、修改、删除等，需要修改xml，xml的配置生效无非是热部署灰度发布方案或者直接停止、重启服务器，完全不能做到自动启动、修复方式。 ...
分类：
编程语言 时间：
2019-08-05 09:54:57
阅读次数：
152
一、简单任务 定义一个函数，然后定义一个scheduler类型，添加一个job，然后执行，就可以了 5秒整倍数，就执行这个函数 带参数的 二、日志 三、删除任务 要求执行一定阶段任务以后，删除某一个循环任务，其他任务照常进行。有如下代码： 四、停止任务，恢复任务 五、捕获错误 ...
分类：
编程语言 时间：
2019-08-04 10:42:53
阅读次数：
136
Kubernetes: 它至少需要3个Master节点 Master节点的主要组件: API Server: 主要用来接收其它组件发来的请求，并作出相应的处理. Scheduler: 主要负责挑选出一个最佳node节点来运行pod，它挑选合适的node,通常分两个阶段， 第一个阶段:是先通过初步筛选 ...
分类：
Web程序 时间：
2019-08-01 21:27:35
阅读次数：
154
整体架构 Kubernetes属于主从分布式架构 主要由Master Node和Worker?Node组成，以及包括客户端命令行工具kubectl和其它附加项。 Master Node： 作为控制节点，对集群进行调度管理； Master Node由 API Server、Scheduler、Clus ...
分类：
其他好文 时间：
2019-07-25 23:23:33
阅读次数：
105
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是 a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealin ...
分类：
其他好文 时间：
2019-07-24 22:48:19
阅读次数：
459
任务调度可以从一个Action类算子开始，因为Action类算子会触发一个job的执行 划分stage,以taskSet形式提交任务，DAGScheduler 类中getMessingParentStages()方法是切割job划分stage ...
分类：
其他好文 时间：
2019-07-24 22:22:40
阅读次数：
111
返回总目录 为什么nova不像cinder一样是工作流的形式??? 描述详细 日志显示初始有两个 host（在我们的实验环境中就是controller和compute），依次经过若干filter 的过滤，两个计算节点都通过了。过滤器补充：DifferentHostFilter：allows the ...
分类：
其他好文 时间：
2019-07-24 16:38:14
阅读次数：
90
stage概念 Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任 ...
分类：
其他好文 时间：
2019-07-21 18:39:02
阅读次数：
88
