报错信息大致如下： redis.exceptions.ResponseError: WRONGTYPE Operation against a key holding the wrong kind of value 解决方案： 是发现项目的settings.py文件中的 SCHEDULER_QUEU ...
分类：
其他好文 时间：
2020-06-30 14:31:08
阅读次数：
58
概念 PV 的全称是：PersistentVolume（持久化卷），是对底层的共享存储的一种抽象，PV 由管理员进行创建和配置，它和具体的底层的共享存储技术的实现方式有关，比如 Ceph、GlusterFS、NFS 等，都是通过插件机制完成与共享存储的对接。 PVC 的全称是：PersistentV ...
分类：
其他好文 时间：
2020-06-29 11:40:03
阅读次数：
53
高可用个数最好是大于3的个数 master scheduler 调度器，计算资源，调度到可用的node，交给apiserver ，apiserver写入etcd,kubelet实时读取 controller-manager 管理pod的期望数量，创建或删除pod apiserver 集群访问入口，收 ...
分类：
其他好文 时间：
2020-06-27 16:17:03
阅读次数：
56
1. Scrapy使用了Twisted异步网络库来处理网络通讯，整体架构： Scrapy爬虫框架主要由5个部分组成，分别是：Scrapy Engine（Scrapy引擎），Scheduler（调度器），Downloader（下载器），Spiders（蜘蛛），Item Pipeline（项目管道）。爬 ...
分类：
其他好文 时间：
2020-06-26 10:21:18
阅读次数：
58
Yarn资源调度系统 一、课前准备 1. 三个节点的hadoop集群 二、课堂主题 1. yarn架构、核心组件 2. yarn应用提交过程 3. yarn的调度策略 4. yarn的优化 三、课堂目标 1. 数据yarn资源的任务调度原理 2. 熟练对yarn集群进行维护 3. 了解如何使用YAR ...
分类：
其他好文 时间：
2020-06-25 23:50:34
阅读次数：
115
图中绿色的是数据的流向 我们看到图里有这么几个东西，分别是 Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求 Engine：引擎，处理整个系统的数据流处理，出发事物，框架的核心。 Scheduler：调度器，接受引擎发过来的请求，并将其加入队列中，在引 ...
分类：
其他好文 时间：
2020-06-25 11:58:04
阅读次数：
46
背景 Kubernetes中的调度是将待处理的pod绑定到节点的过程，由Kubernetes的一个名为kube-scheduler的组件执行。调度程序的决定，无论是否可以或不能调度容器，都由其可配置策略指导，该策略包括一组规则，称为谓词和优先级。调度程序的决定受到其在第一次调度时出现新pod时的Ku ...
分类：
Web程序 时间：
2020-06-25 11:46:33
阅读次数：
81
摘要：Go 能很好的支持并发模型，这也是 Go 如此火热的原因，那今天我们来学习 Go 的调度机制。 数据结构 G 结构体 G 是 goroutine 的缩写，相当于操作系统中的进程控制块，在这里就是 goroutine 的控制结构，是对 goroutine 的抽象，下面是 G 的结构(只列出了部分 ...
分类：
其他好文 时间：
2020-06-22 01:07:54
阅读次数：
104
去重的配置： DUPEFILTER_KEY = 'dupefilter:%(timestamp)s' DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 调度器配置： SCHEDULER = "scrapy_redis.schedul ...
分类：
其他好文 时间：
2020-06-21 19:57:44
阅读次数：
53
整个爬虫流程 1、scrapy crawl chouti --nolog 2、找到 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 配置并实例化调试器对象 - 执行Scheduler.from_crawler - 执行Scheduler.from_set ...
分类：
其他好文 时间：
2020-06-21 19:40:00
阅读次数：
56
