HADOOPYARN是什么？Yarn全称是YetAnotherResourceNegotiator基本概念Container容器是Yarn对资源的一层抽象。（CPU核数，内存等计算资源）容器由NodeManager启动和管理，并被它所监控容器由ResureceManager调度ResourceManager(RM)负责资源管理，包含定时调度器（scheduler）和应用管理器（Applicatio
分类：
其他好文 时间：
2019-01-15 00:54:36
阅读次数：
236
scrapy 五大核心组件的工作流程当执行爬虫文件时，5大核心组件就在工作了 spiders 引擎（Scrapy Engine）管道（item Pipeline）调度器（Scheduler）下载器（Downloader） 首先执行爬虫文件spider，spider的作用是 （1）解析（2）发请求，原 ...
分类：
其他好文 时间：
2019-01-14 22:01:58
阅读次数：
162
GlusterFS分布式存储系统 一，分布式文件系统理论基础 1.1 分布式文件系统出现 计算机通过文件系统管理，存储数据，而现在数据信息爆炸的时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经不能满足目前的需求。 分布式文件系统可以有效解决数据的 ...
分类：
其他好文 时间：
2019-01-13 11:41:20
阅读次数：
252
一、环境介绍 [root@k8s-m ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain l ...
分类：
其他好文 时间：
2019-01-11 14:45:37
阅读次数：
237
五大核心组件工作流程 post请求发送 递归爬取 五大核心组件工作流程 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优 ...
分类：
其他好文 时间：
2019-01-10 19:57:38
阅读次数：
138
一、安装glusterfs https://www.cnblogs.com/zhangb8042/p/7801181.html 环境介绍; centos 7 [root@k8s-m ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain ...
分类：
其他好文 时间：
2019-01-10 15:47:24
阅读次数：
516
深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 深挖Openstack Nova - Scheduler调度策略 一. Scheduler的作用就是在 ...
分类：
其他好文 时间：
2019-01-08 15:12:33
阅读次数：
172
Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committe
分类：
其他好文 时间：
2019-01-07 17:41:15
阅读次数：
128
opensymphony提供的强大的开源任务调度框架 spring的默认调度框架，保存恢复调度现场。灵活，强大调度。 使用了 builder调度模式，factory模式，组件模式，链式写法。 三个核心概念：1.调度器（定时定期执行任务） 2.任务 3.触发器 体系结构：1.JobDetail 2.t ...
分类：
其他好文 时间：
2019-01-06 20:08:23
阅读次数：
167
DRCP配置及测试 一. DRCP介绍 数据库提供会话进程在数据库中使用资源的方式： 1)Dedicated Server，一个会话在数据库中对应一个专有进程，一对一服务（资源数据库占用过多，一般使用中间件应用层面进行会话数量管控及会话资源重用） 当接收到Client Server的请求之后，Dis ...
分类：
数据库 时间：
2019-01-05 12:12:22
阅读次数：
207
