一、scrapy原理 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时 ...
分类：
其他好文 时间：
2018-11-24 14:20:06
阅读次数：
194
kubernetes基础概念1)master/node的几个守护进程master:APIServer(提供了k8s各类资源对象（Pod，RC，service）的增，删，改，查及HTTPREST接口)Scheduler(负责Pod调度，通过调度算法为待调度Pod列表的每个Pod从Node列表中选择一个最适合的Node，并将信息写入etcd中。kubelet通过APIServer监听到kubernet
分类：
Web程序 时间：
2018-11-22 18:22:07
阅读次数：
233
master 节点负责管理整个集群，管理的控制面板，全局的角色和调度 3个组件 API Server : 统一入口 kubectl 客户端管理工具 Etcd 数据库 Scheduler 集群的调度 Controller-Manager 控制器，管理任务 Node节点 kubelet : 相当于age ...
分类：
Web程序 时间：
2018-11-22 00:18:02
阅读次数：
396
参考: "[ Kubernetes 权威指南 ]" Kubernetes 集群搭建可以参考 "[ Kubernetes : 多节点 k8s 集群搭建实践 ]" 在多个 Node 组成的 Kubernetes 集群内, Kubernetes 本身不会对跨主机容器网络进行设置. flannel 就是解决 ...
分类：
Web程序 时间：
2018-11-21 16:09:35
阅读次数：
273
二、framework包 --aspectj包 package com.ruoyi.framework.aspectj; import java.lang.reflect.Method; import org.aspectj.lang.JoinPoint; import org.aspectj.la ...
分类：
其他好文 时间：
2018-11-21 15:51:06
阅读次数：
2926
本文通过MetaWeblog自动发布，原文及更新链接：https://extendswind.top/posts/technical/hadoop_yarn_resource_scheduler 搜了一些博客，发现写得最清楚的还是《Hadoop权威指南》，以下内容主要来自《Hadoop The De... ...
分类：
其他好文 时间：
2018-11-21 12:30:24
阅读次数：
160
Spark版本 1.3 Spark源码 Spark.createTaskScheduler TaskScheduler初始化过程 1.// SparkContext中 /** * Create a task scheduler based on a given master URL. * Retur... ...
分类：
其他好文 时间：
2018-11-19 21:44:32
阅读次数：
206
Spark start-all>> """Master启动流程""" Master类 class Master( host: String, port: Int, webUiPort: Int, val securityMgr: SecurityManager, val conf: SparkCon... ...
分类：
其他好文 时间：
2018-11-18 14:18:37
阅读次数：
161
1.Spring的配置： 2.创建定时器接口： 3.创建定时器实现类： Cron 触发器利用一系列特殊字符，如下所示：反斜线（/）字符表示增量值。例如，在秒字段中“5/15”代表从第 5 秒开始，每 15 秒一次。问号（?）字符和字母 L 字符只有在月内日期和周内日期字段中可用。问号表示这个字段不包 ...
分类：
编程语言 时间：
2018-11-17 16:41:45
阅读次数：
135
一：任务调度和资源调度的区别: 任务调度是指通过DAGScheduler，TaskScheduler，SchedulerBackend完成的job的调度 资源调度是指应用程序获取资源的调度，他是通过schedule方法完成的 二：资源调度解密 因为master负责资源管理和调度，所以资源调度的方法s ...
分类：
其他好文 时间：
2018-11-15 23:39:36
阅读次数：
252
