介绍XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。主要特性1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证
分类：
数据库 时间：
2020-09-03 16:52:28
阅读次数：
84
org.apache.spark.scheduler.DAGScheduler#submitMissingTasks => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure out the indexes ...
分类：
其他好文 时间：
2020-08-28 14:42:00
阅读次数：
47
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
Job：控制Pod完成工作 Begin： kubectl explain job.spec Job基础Yaml apiVersion: batch/v1 kind: Job metadata: name: batch-job namespace: controller-test spec: temp ...
分类：
其他好文 时间：
2020-08-20 19:27:01
阅读次数：
140
一、Job概述一）、Job负责处理短暂的一次性任务，即仅执行一次的任务，它保证批处理任务的一个或多个pod成功结束。今天我们来给大家介绍另外?类资源对象：Job，我们在日常的工作中经常都会遇到?些需要进行批量数据处理和分析的需求，当然也会有按时间来进行调度的?作，Kubernetes集群中为我们提供了Job和CronJob两种资源对象来应对这种需求。*Job负责处理任务，即仅执??次的任务，它保证
分类：
Web程序 时间：
2020-08-20 18:38:48
阅读次数：
73
do.sh #!/bin/bash repeat() { while :; do $@ && return; sleep 1; done } retryuntil() { echo $(date +%F%n%T) msg=`./job.sh 2>&1` echo $msg #echo "$msg" ...
分类：
其他好文 时间：
2020-08-13 22:08:35
阅读次数：
50
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 ...
分类：
其他好文 时间：
2020-08-13 12:07:11
阅读次数：
88
1.定义 RDD是只读的记录分区的集合，是一种基于工作集的应用抽象 创建RDD的方式有两种： 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上，对于每个Executor都会启动一个BlockManagerSlave，并且管理一部分B ...
分类：
其他好文 时间：
2020-08-08 00:33:32
阅读次数：
73
