1. 增加去重容器类配置,DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter” 2. 增加调度配置,SCHEDULER = “scrapy_redis.scheduler.Scheduler” 3. 配置调度器持久化, 爬虫结束, 要不 ...
分类：
其他好文 时间：
2019-02-03 12:28:00
阅读次数：
187
监控集群状态 [4ajr@elk1 scripts]$ cat glusterfs_peer_status.sh #!/bin/bash peer_status=`sudo gluster peer status | grep State | uniq` if [ "State: Peer in C ...
分类：
其他好文 时间：
2019-02-03 10:54:29
阅读次数：
191
安装sudo easy_install pip 列出已安装的包pip freeze or pip list 导出requirements.txtpip freeze > <目录>/requirements.txt 安装包在线安装pip install <包名> 或 pip install -r re ...
分类：
编程语言 时间：
2019-02-02 23:18:18
阅读次数：
249
概览 在具体的学习scrapy之前，我们先对scrapy的架构做一个简单的了解，之后所有的内容都是基于此架构实现的，在初学阶段只需要简单的了解即可，之后的学习中，你会对此架构有更深的理解。下面是scrapy官网给出的最新的架构图示。 基本组件 引擎（Engine） 引擎负责控制数据流在系统中所有组件 ...
分类：
其他好文 时间：
2019-02-01 14:20:21
阅读次数：
157
一、查看event是否开启 二、 -- 设置时区并设置计划事件调度器开启，也可以 event_scheduler = ONset time_zone = '+8:00';set GLOBAL event_scheduler = 1; -- 设置该事件使用或所属的数据库base数据库use test; ...
分类：
数据库 时间：
2019-01-31 17:03:28
阅读次数：
168
第一步：创建xml文件，名称为：spring-scheduler 路径如下图： 第二步：spring-scheduler配置详情 第三步：实现定时任务，具体的业务操作 第四步：创建任务 TimeOutUrgentJob 注释：timeOutUrgentJobService.insertInfo(); ...
分类：
编程语言 时间：
2019-01-28 13:46:18
阅读次数：
206
安装环境准备192.168.1.19master安装软件etcd、kube-apiserver、kubelet、kube-controller-manager,kube-scheduler、flannel、docker192.168.1.20node1安装软件etcd、kube-proxy、kubelet、flannel、docker192.168.1.21node2安装软件etcd、kube-p
分类：
其他好文 时间：
2019-01-22 18:34:36
阅读次数：
245
先扯一下大数据的4V特征： 数据量大，TB->PB 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； 处理时效性高，海量数据的处理需求不再局限在离线计算当中。 现如今，正式为了应对大数据的这几个特 ...
分类：
其他好文 时间：
2019-01-22 10:57:06
阅读次数：
256
第1章 课程介绍—课程整体内容介绍简单介绍本系列课程的内容，并提前布置预先需要储备的知识。第2章 响应式编程思想概述—概念与案例讲解本章节主要阐释响应式编程思想，先做一个概念性的介绍，之后会以生活中的实例和代码实例相结合的方式来讲解。第3章 RxJava基本元素—源码解析与案例实践本章节开始进入源码 ...
分类：
移动开发 时间：
2019-01-20 15:54:02
阅读次数：
231
一、环境准备 master：192.168.0.8，kubelet，kubeadm，kubectl：apiserver，manager，scheduler，proxy，pause，etcd，coredns node01：192.168.0.9，kubeadm，kubelet node02：192.1 ...
分类：
其他好文 时间：
2019-01-20 13:45:31
阅读次数：
182
