关于k8s的几个问题？k8s的日志收集--EFKk8s的状态监控--Prometheusk8s的集群高可用etcd高可用网络高可用apiserver高可用controller-manager高可用scheduler高可用dashboard高可用k8s的几个概念node（所包含的组件）kubelet--监视已分配给节点的podproxy--通过在主机上维护网络规则并执行连接转发来实现k8s服务抽象d
分类：
Web程序 时间：
2019-04-09 09:19:30
阅读次数：
163
分布式工作流任务调度系统EasyScheduler正式开源1、背景在多位技术小伙伴的努力下，经过近2年的研发迭代、内部业务剥离及重构，也经历一批种子用户试用一段时间后，EasyScheduler终于迎来了第一个正式开源发布版本--1.0.0。相信做过数据处理的伙伴们对开源的调度系统如oozie、azkaban、airflow应该都不陌生，在使用这些调度系统中可能会有这样的体验：比如配置工作流任务不
分类：
其他好文 时间：
2019-04-09 00:17:06
阅读次数：
282
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2019-04-08 18:47:30
阅读次数：
173
https://www.jianshu.com/p/3be513581027 http://qinghua.github.io/spring-scheduler/ https://www.cnblogs.com/hongwz/p/5642429.html https://blog.csdn.net/ ...
分类：
其他好文 时间：
2019-04-02 13:01:08
阅读次数：
90
用Spring Boot默认支持的 Scheduler来运行定时任务，有时在服务器运行一段时间后会自动关闭。原因：Schedule默认是单线程运行定时任务的，即使是多个不同的定时任务，默认也是单线程运行。当线程挂掉时，定时任务也随之终止。 解决方法： 一．改为多线程执行定时任务： 加一个配置类，实现 ...
分类：
编程语言 时间：
2019-03-29 20:36:35
阅读次数：
266
进程优先级 nice Linux 进程调度及多任务相对优先级nice查看进程的nice级别启动具有不同nice级别的进程更改现有进程的nice级别Linux 进程调度及多任务每个CPU（或CPU核心）在一个时间点上只能处理一个进程，通过时间片技术，Linux实际能够运行的进程（和线程数）可以超出实际 ...
分类：
系统相关 时间：
2019-03-26 01:12:21
阅读次数：
268
quartz本身插件: LoggingJobHistoryPlugin，LoggingTriggerHistoryPlugin分别可以打印scheduler容器管理的所有triggers和jobDetails的运行日志。 插件XMLSchedulingDataProcessorPlugin 支持使用 ...
分类：
其他好文 时间：
2019-03-25 19:22:22
阅读次数：
183
分布式爬虫 安装：pip3 install scrapy-redis 源码：D:\python3.6\Lib\site-packages\scrapy_redis 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的ur ...
分类：
其他好文 时间：
2019-03-25 01:18:10
阅读次数：
151
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。
分类：
其他好文 时间：
2019-03-21 15:47:01
阅读次数：
142
applicationContext.xml：红色代码部分为需要配置的部分。 注意事项：<task:scheduler id="myScheduler" pool-size="5"/>这段配置为非必须，配置这段的原因是spring定时任务默认是单线程的。配置了这段表示不同定时任务不论是否在同一时间点 ...
分类：
编程语言 时间：
2019-03-20 14:22:33
阅读次数：
318
