第一步:创建xml文件,名称为:spring-scheduler 路径如下图: 第二步:spring-scheduler配置详情 第三步:实现定时任务,具体的业务操作 第四步:创建任务 TimeOutUrgentJob 注释:timeOutUrgentJobService.insertInfo(); ...
分类:
编程语言 时间:
2019-01-28 13:46:18
阅读次数:
206
安装环境准备192.168.1.19master安装软件etcd、kube-apiserver、kubelet、kube-controller-manager,kube-scheduler、flannel、docker192.168.1.20node1安装软件etcd、kube-proxy、kubelet、flannel、docker192.168.1.21node2安装软件etcd、kube-p
分类:
其他好文 时间:
2019-01-22 18:34:36
阅读次数:
245
先扯一下大数据的4V特征: 数据量大,TB->PB 数据类型繁多,结构化、非结构化文本、日志、视频、图片、地理位置等; 商业价值高,但是这种价值需要在海量数据之上,通过数据分析与机器学习更快速的挖掘出来; 处理时效性高,海量数据的处理需求不再局限在离线计算当中。 现如今,正式为了应对大数据的这几个特 ...
分类:
其他好文 时间:
2019-01-22 10:57:06
阅读次数:
256
第1章 课程介绍—课程整体内容介绍简单介绍本系列课程的内容,并提前布置预先需要储备的知识。第2章 响应式编程思想概述—概念与案例讲解本章节主要阐释响应式编程思想,先做一个概念性的介绍,之后会以生活中的实例和代码实例相结合的方式来讲解。第3章 RxJava基本元素—源码解析与案例实践本章节开始进入源码 ...
分类:
移动开发 时间:
2019-01-20 15:54:02
阅读次数:
231
一、环境准备 master:192.168.0.8,kubelet,kubeadm,kubectl:apiserver,manager,scheduler,proxy,pause,etcd,coredns node01:192.168.0.9,kubeadm,kubelet node02:192.1 ...
分类:
其他好文 时间:
2019-01-20 13:45:31
阅读次数:
182
HADOOPYARN是什么?Yarn全称是YetAnotherResourceNegotiator基本概念Container容器是Yarn对资源的一层抽象。(CPU核数,内存等计算资源)容器由NodeManager启动和管理,并被它所监控容器由ResureceManager调度ResourceManager(RM)负责资源管理,包含定时调度器(scheduler)和应用管理器(Applicatio
分类:
其他好文 时间:
2019-01-15 00:54:36
阅读次数:
236
scrapy 五大核心组件的工作流程当执行爬虫文件时,5大核心组件就在工作了 spiders 引擎(Scrapy Engine)管道(item Pipeline)调度器(Scheduler)下载器(Downloader) 首先执行爬虫文件spider,spider的作用是 (1)解析(2)发请求,原 ...
分类:
其他好文 时间:
2019-01-14 22:01:58
阅读次数:
162
五大核心组件工作流程 post请求发送 递归爬取 五大核心组件工作流程 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优 ...
分类:
其他好文 时间:
2019-01-10 19:57:38
阅读次数:
138
深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 一. Scheduler的作用就是在 ...
分类:
其他好文 时间:
2019-01-08 15:12:33
阅读次数:
172
Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原MapReduce框架设计的不足,在原MapReduce框架上进行修改变得越来越困难,所以MapReduce的committe
分类:
其他好文 时间:
2019-01-07 17:41:15
阅读次数:
128