Label(标签)我们为什么要使用label呢?当相同类型的资源对象越来越多,为了更好的管理,才按照标签分为一个小组,为的是提升资源的管理效率。lable是附着到object上(例如pod)的键值对。可以在创建object的时候指定,也可以在object创建后随时指定。Labels的值对系统本身并没有什么含义,只是对用户才有意义。"labels":{"key1":"value1","key2":"
分类:
其他好文 时间:
2019-12-29 09:21:13
阅读次数:
68
scrapy是爬虫中封装好的一个明星框架,具有的功能: 高性能的持久化存储 异步的数据下载 高性能数据解析,分布式 scrapy框架基本使用 环境安装 mac or linux pip install scrapy windows pip install wheel 下载twisted,下载地址为 ...
分类:
其他好文 时间:
2019-12-28 21:17:25
阅读次数:
90
TCP 端口(静态端口) 端口类型端口号注释 TCP 0 Reserved TCP 1 TCP Port Service Multiplexer TCP 2 Death TCP 5 Remote Job Entry,yoyo TCP 7 Echo TCP 11 Skun TCP 12 Bomber ...
分类:
其他好文 时间:
2019-12-28 21:08:24
阅读次数:
898
1.安装部署Prometheus 安装参考:https://www.cnblogs.com/caoweixiong/p/12111035.html 配置prometheus.yml,添加canal的job,示例: - job_name: 'canal' static_configs: - targe ...
分类:
其他好文 时间:
2019-12-28 13:11:36
阅读次数:
310
1. 安装包下载 百度云:链接:https://pan.baidu.com/s/1w_l9ncDvBuAjobQ7mNq4rA 提取码:i9zz 官网下载:https://www.netsarang.com/zh/downloading/?token=M2xZRW9GOG1XSHpHVEphZldL ...
分类:
系统相关 时间:
2019-12-27 21:52:58
阅读次数:
92
HDFS架构概述 HDFS(Hadoop Distributed File System)的架构 2.5.3 MapReduce架构概述 MapReduce将计算过程分为两个阶段:Map和Reduce,如图2-25所示 1)Map阶段并行处理输入数据 2)Reduce阶段对Map结果进行汇总 图中涉 ...
分类:
其他好文 时间:
2019-12-27 21:42:53
阅读次数:
71
上一篇里介绍了Job和Trigger的常用方法,这一节将介绍Calendar,它的作用是排除特定的日期时间。 Calendar的常用类 DailyCalendar 排除每天某个时间段任务的执行 例子: var sche = StdSchedulerFactory.GetDefaultSchedule ...
分类:
Web程序 时间:
2019-12-27 13:10:37
阅读次数:
80
分布式系统(distributed system)正变得越来越重要,大型网站几乎都是分布式的。 分布式系统的最大难点,就是各个节点的状态如何同步。CAP 定理是这方面的基本定理,也是理解分布式系统的起点。 本文介绍该定理。它其实很好懂,而且是显而易见的。下面的内容主要参考了 Michael Whit ...
分类:
其他好文 时间:
2019-12-26 22:49:55
阅读次数:
98
Hadoop Distributed File System:分布式文件系统。 HDFS基于流数据模式访问和处理超大文件需求开发,具有高容错性,高可靠性,高可扩展性,多部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问,便利了海量数据的处理介绍假设和目标硬件故障:检测故障并从中快速恢复流... ...
分类:
其他好文 时间:
2019-12-25 23:59:16
阅读次数:
161
自动任务类: @PersistJobDataAfterExecution @DisallowConcurrentExecution public class ReCodeBack implements Job { private static final Logger LOGGER = Logger ...
分类:
其他好文 时间:
2019-12-25 12:52:17
阅读次数:
190