Spark on K8S源码解析sparkk8stime: 2019-12-19Spark on k8s源码解析1. Spark Submitspark-submit.shspark-class.shSparkSubmit第一步,初始化spark应用配置第二步,执行spark应用 Spark on ... ...
分类：
其他好文 时间：
2019-12-22 21:43:57
阅读次数：
113
使用case语句构造匿名函数的“额外”好处， case语句（组合）除了可以被编译为匿名函数（类型是FunctionX，在Scala里，所有的函数字面量都是一个对象，这个对象的类型是FunctionX），还可以非常方便的编译为一个偏函数PartialFunction！（注意：PartialFuncti ...
分类：
其他好文 时间：
2019-12-22 20:10:31
阅读次数：
90
细说Spark Streaming和Structured Streaming的区别 ...
分类：
其他好文 时间：
2019-12-22 14:55:01
阅读次数：
83
Master源码 1 package org.apache.spark.deploy.master 2 //伴生类 3 private[deploy] class Master( 4 override val rpcEnv: RpcEnv, 5 address: RpcAddress, 6 webU ...
分类：
其他好文 时间：
2019-12-22 14:52:23
阅读次数：
91
1、Spark核心组件 1.1 Cluster Manager(Master,ResourceManager) Spark的集群管理器，主要负责对整个集群资源的分配与管理 Cluster Manager 在 Yarn 部署模式下为 ResourceManager 在 Mesos 部署模式下为 Mes ...
分类：
其他好文 时间：
2019-12-22 14:51:31
阅读次数：
93
1、start-all.sh脚本，实际上执行java -cp Master 和 java -cp Worker 2、Master 启动时首先穿件一个RpcEnv对象，负责管理所有通信逻辑 3、Master 通信RpcEnv对象创建一个Endpoint，Master就是一个Endpoint，Worke ...
分类：
其他好文 时间：
2019-12-22 14:39:30
阅读次数：
98
1、RpcEndpoint: RPC端点 Spark针对每个节点（Client、Master、Worker）都称之为一个RpcEndpoint，且都实现RpcEndpoint接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送（询问）则内部调用Dispatcher的对应方法 说 ...
分类：
Web程序 时间：
2019-12-22 14:19:28
阅读次数：
120
第1章 课程介绍&学习指南本章会对这门课程进行说明并进行学习方法介绍。第2章 Redis入门Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度。本章将从Redis特性、应用场景出发，到Redis的基础命令，再到Redis的常用数据类型实操，最后通过Java API来操作 ...
分类：
其他好文 时间：
2019-12-22 10:59:01
阅读次数：
839
需求描述 在使用Eclipse的时候，每次new一个对象，写起来比较麻烦，以下是配置Eclipse,然后使用快捷键补全new方法的步骤，此配置使用官方属于叫做：配置自动分配局部变量 配置步骤 打开Window >>Preferences,出现以下界面 修改前 修改后 ...
分类：
编程语言 时间：
2019-12-21 18:39:19
阅读次数：
97
HashMap简介 HashMap是一种非常常见、方便和有用的集合，是一种键值对（K-V）形式的存储结构 常见的方法如下： put：将数据添加到集合中 get：获取集合中的元素 size：获取集合的长度 remove：移除集合中的键值对 containsKey：判断指定的key是否存在 实战演练 p ...
分类：
编程语言 时间：
2019-12-21 13:55:46
阅读次数：
111
