1、提交任务 //提交任务直到返回结果job.waitForCompletion(true); 2、点击waitForCompletion方法到Job.java类 3、跟进到submit方法，调用方法： return submitter.submitJobInternal(Job.this, clu ...
分类：
其他好文 时间：
2020-12-21 11:24:14
阅读次数：
0
Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类：
其他好文 时间：
2020-12-19 13:14:39
阅读次数：
1
描述 xxl-job elastic-job（lite） saturn 主要作者 大众点评徐雪里 当当网张亮 唯品会开源，基于elastic-job 特殊环境 mysql5.7+ zookeeper 同elastic-job 特殊功能 策略丰富，支持分片 ，子任务 支持分片，分片策略比xxl-job ...
分类：
其他好文 时间：
2020-12-18 12:27:17
阅读次数：
2
本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品；然后介绍 Spark on Kubernetes；最后进行实际演示。
分类：
其他好文 时间：
2020-12-17 12:22:18
阅读次数：
2
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数，位于集群中的一个节点上，它负责三件事：维护 Spark 应用程序的相关信息；回应用户的程序或输入；分析任务并分发给若干执行器进行处理。驱动器是必须的，它是 Spark 应用程序的核 ...
分类：
其他好文 时间：
2020-12-17 12:09:25
阅读次数：
2
前言前不久帮同事一起review一个job执行缓慢的问题时发现不少朋友在撸码实现功能时还是有需要细节不够注意，于是便有了这篇文章。ArrayList踩坑List<String>temp=newArrayList();//获取一批数据List<String>all=getData();for(Stringstr:all){temp.add(str);}首先大家看看这段代码有什
分类：
其他好文 时间：
2020-12-16 12:52:45
阅读次数：
3
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
##SET 运算符 ###使用 SET 操作符注意事项 在SELECT 列表中的列名和表达式在数量和数据类型上要相对应 括号可以改变执行的顺序 ORDER BY 子句: 只能在语句的最后出现 可以使用第一个查询中的列名, 别名或相对位置 SELECT department_id, TO_NUMBER ...
分类：
其他好文 时间：
2020-12-16 11:45:07
阅读次数：
5
一、前言 xxl-job一个轻量级的分布的调度中间件，详情介绍自己到官网看：https://www.xuxueli.com/xxl-job/ 二、客户端（执行器） 引入依赖compile group: 'com.xuxueli', name: 'xxl-job-core', version: '2. ...
分类：
编程语言 时间：
2020-12-14 13:00:53
阅读次数：
4
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
分类：
其他好文 时间：
2020-12-11 12:23:58
阅读次数：
2
