1.Job Managers、Task Managers、客户端（Clients） Flink 运行时包含两类进程： JobManagers （也称为 masters）协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。 每个 Job 至少会有一个 JobManager。 ...
分类：
其他好文 时间：
2020-02-23 11:54:37
阅读次数：
106
一、HDFS的简介及优缺点 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS ...
分类：
其他好文 时间：
2020-02-23 11:48:58
阅读次数：
77
DRBD 安装配置、工作原理及故障恢复 一、DRBD 简介 DRBD的全称为：Distributed ReplicatedBlock Device(DRBD)分布式块设备复制,DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络R ...
分类：
其他好文 时间：
2020-02-22 11:44:27
阅读次数：
74
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
RedisQueue是一款轻量级的分布式异步任务队列调度框架，基于redis数据库作为broker，生产端将任务job存储到redis数据库中，消费端监听队列并取出任务执行。 1.基础架构 rq框架使用前需要安装rq库，使用pip安装即可：pip install rq 1.1 生产者 生产者将任务发 ...
分类：
编程语言 时间：
2020-02-21 18:40:13
阅读次数：
156
什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象（其实是计算抽象）。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。 不可变：数据一旦写入，不可更改；联想到java 中的String类型， ...
分类：
其他好文 时间：
2020-02-20 21:55:51
阅读次数：
104
*grep命令 今天遇到研发要求查询定时任务（elastic-job）在14:00-14:40的日志，使用grep命令很方便： 命令： grep '时间' '日志文件名 ' 1、例如查询2020-02-19 14:10到2020-02-19 14:15区间的日志 grep "2020-02-19 1 ...
分类：
其他好文 时间：
2020-02-19 16:58:50
阅读次数：
129
The Part Time network provides free online job search and part-time or full time recruitment services to help job seekers find suitable jobs and find ...
分类：
其他好文 时间：
2020-02-19 13:35:22
阅读次数：
78
spring cloud alibaba 微服务一站式解决方案基于spring cloud 功能 翻译 选择 Distributed/versioned configuration 分布式/版本化的配置管理 Spring Cloud Config、Consul、Nacos、Zookeeper Ser ...
分类：
编程语言 时间：
2020-02-18 09:42:39
阅读次数：
221
首先安装： pip install flask_apscheduler from apscheduler.events import EVENT_JOB_EXECUTED, EVENT_JOB_ERROR from flask import Flask from flask_apscheduler ...
分类：
其他好文 时间：
2020-02-18 09:38:02
阅读次数：
219
