关于计算器运行的上下文的概念，我的理解也不是很深；按我的理解就是程序在运行之前，其所需要的资源，运行环境等都会被序列化，然后加入到CPU的任务队列中，等待调度系统分配时间片执行。下面谈谈python上下文管理器的使用。 自定义上下文管理器 python中最常用的上下文管理器就是文件的打开和关闭了。 ...
分类：
编程语言 时间：
2018-03-19 13:32:22
阅读次数：
209
分布式系统实践 1. 阿里容器调度系统Sigma仿真平台Cerebro揭秘 https://mp.weixin.qq.com/s/1GFHE7cbwB02bfnKha8ybg 摘要: 调度系统的仿真对于调度策略的研发非常重要, 相比于线上系统, 仿真系统的研发难度更大, 这篇文章介绍了阿里巴巴Sig ...
分类：
其他好文 时间：
2018-03-02 20:57:32
阅读次数：
169
简介 一转眼在去哪儿网玩乐事业部工作快4年了，经历了数据团队的组建和发展，回顾一下整体过程，经历了很多坎坷，普通而不简单。下面是大事记 2014年（系统搭建）：开发报表平台、接入HADOOP、搭建调度系统 2015年（数据集市）：搭建数据集市、开发数据同步工具 2016年（数据应用）：系统定价、多维 ...
分类：
其他好文 时间：
2018-02-01 19:26:39
阅读次数：
236
为什么需要工作流调度系统? 一个完整的数据分析系统通常都是由大量任务单元组成：shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等? 各任务单元之间存在时间先后及前后依赖关系? 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个 ...
分类：
其他好文 时间：
2018-01-28 22:32:22
阅读次数：
2337
深入一致性哈希(Consistent Hashing)算法原理，并附100行代码实现 本文为实现分布式任务调度系统中用到的一些关键技术点分享——Consistent Hashing算法原理和Java实现，以及效果测试。 背景介绍 一致性Hashing在分布式系统中经常会被用到， 用于尽可能地降低节点 ...
分类：
其他好文 时间：
2018-01-25 16:47:46
阅读次数：
166
本文为实现分布式任务调度系统中用到的一些关键技术点分享——Consistent Hashing算法原理和Java实现，以及效果测试。 背景介绍 一致性Hashing在分布式系统中经常会被用到， 用于尽可能地降低节点变动带来的数据迁移开销。Consistent Hashing算法在1997年就在论文C ...
分类：
编程语言 时间：
2018-01-20 21:32:29
阅读次数：
219
Azkaban 工作流调度器 1 概述 1.1 为什么需要工作流调度系统 a)一个完整的数据分析系统通常都是由大量任务单元组成，shell脚本程序，java程序，mapreduce程序、hive脚本等。 b)各任务单元之间存在时间先后及前后依赖关系。 c)为了很好地组织起这样的复杂执行计划，需要一个 ...
分类：
其他好文 时间：
2017-12-18 19:00:54
阅读次数：
236
1.概述 本博客通过VMware workstation创建了虚拟机console，然后在console内部创建了8台kvm虚拟机，使用这8台虚拟机作为集群，来部署配置和测试slurm任务调度系统。 console虚拟机配置为：4核心CPU，8G内存，20G系统盘安装OS，20G数据盘挂载到/opt ...
分类：
其他好文 时间：
2017-12-17 15:01:30
阅读次数：
1003
1.概述2.同步节点时间3.下载并解压文件4.编译安装munge-0.5.125.配置munge6.编译安装slurm-16.05.37.配置slurm8.配置MySQL数据库环境9.启动slurm集群10.总结 1.概述 本博客通过VMware workstation创建了虚拟机console，然... ...
分类：
其他好文 时间：
2017-12-17 13:23:01
阅读次数：
1900
