spark 各个版本的application 调度算法还是有这明显的不同之处的。从spark1.3.0 到 spark 1.6.1、spark2.x 到 现在最新的spark 3.x ，调度算法有了一定的修改。下面大家一起学习一下，最新的spark 版本spark-3.0的Application 调 ...
分类：
移动开发 时间：
2019-12-04 13:22:15
阅读次数：
118
Spark官网和下载地址 官网 http://spark.apache.org/ spark-2.2.0源码下载链接 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz spark-2.2.0安装包下载连接 http://... ...
分类：
其他好文 时间：
2019-12-03 18:09:14
阅读次数：
98
为什么要用SQL 1）事实上的标准 MySQL、Oacle、DB2、SQL Server都是用的SQL操作，DBA、运维人员使用SQL门槛比较低 2）易学易用 SQL对于不懂的人学习较容易 3）受众面广 无论做Java、.Net、Php都需要与数据库交互，都需要编写SQL Hive： 类似于SQL的... ...
分类：
数据库 时间：
2019-12-03 18:00:13
阅读次数：
92
【摘要】 华为云物联网平台提供的规则引擎包括数据转发和设备联动等多种能力，这些能力都要怎么使用？本文教您8招最常用的用法，带您玩转规则引擎。 规则引擎是华为云物联网平台提供的一种能力，用户对接入平台的设备设定相应的规则，在条件满足所设定的规则后，平台会触发相应的动作来满足用户需求。规则引擎包含数据转 ...
分类：
其他好文 时间：
2019-12-03 17:55:11
阅读次数：
229
import org.apache.spark.{SparkConf, SparkContext} object wc2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").s ...
分类：
其他好文 时间：
2019-12-03 15:30:38
阅读次数：
89
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}object WorldCount { def main(args: Array[String]): Unit ={ ...
分类：
其他好文 时间：
2019-12-02 13:48:52
阅读次数：
85
<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <dependen ...
分类：
其他好文 时间：
2019-12-02 13:38:48
阅读次数：
249
import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionobject SparkSql { def main(args: Array[String]): Unit ={ Logger.getLogg ...
分类：
数据库 时间：
2019-12-02 13:30:16
阅读次数：
107
Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 /** * driver调度机制原理代码分析Schedule the currently available resources among w ...
分类：
其他好文 时间：
2019-12-01 22:35:51
阅读次数：
96
原理图解： Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 //截取了部分代码 //处理Application注册的请求 case RegisterApplication(descriptio ...
分类：
移动开发 时间：
2019-12-01 22:32:21
阅读次数：
139
