问题背景： 使用spark datasource v2 接口，外接存储源时，发现更改项目版本后，spark-shell报错 搜索该错误无果，网上报什么window util错，并不是我遇到的问题. error: not found: value spark Exception in thread " ...
分类：
编程语言 时间：
2020-07-24 15:52:06
阅读次数：
115
<build><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><version>2.15.2</version><executions>&l
分类：
其他好文 时间：
2020-07-23 19:02:39
阅读次数：
82
1.flexible.js ;(function(win, lib) { var doc = win.document; var docEl = doc.documentElement; var metaEl = doc.querySelector('meta[name="viewport"]'); ...
分类：
移动开发 时间：
2020-07-22 16:23:02
阅读次数：
184
一.下载 下载地址：https://www.scala-lang.org/download/all.html 下载对应得版本，有linux安装包、windows安装包，源码包，按需下载 二.windows安装 1）首先确保jdk1.8安装成功 2）解压文件到指定目录 3）配置环境变量 4）验证，如下 ...
分类：
其他好文 时间：
2020-07-22 02:13:37
阅读次数：
107
一.变量和数据类型 1.变量 语法：val / var 变量名：变量类型 = 值 val name：String = "zhangsan" 注意 1、val定义的变量想到于java的final，不可用被重新赋值 2、var定义的变量可以被重新赋值 3、在定义变量的时候，变量类型可以省略，scala会 ...
分类：
其他好文 时间：
2020-07-21 23:26:17
阅读次数：
111
引用的jar包(maven) <properties> <java.version>1.8</java.version> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> <sharding-sphere.version>4.1.1</sh ...
分类：
编程语言 时间：
2020-07-21 21:58:23
阅读次数：
74
Spark基础入门 1、spark的核心概念 2、spark的四大特性 3、spark的整体架构 4、spark的集群安装部署 5、spark的集群的启动和停止 6、spark的集群web管理界面 7、spark-shell Driver 它会执行客户端写好的main方法，它会构建一个名叫Spark ...
分类：
其他好文 时间：
2020-07-21 09:31:03
阅读次数：
90
一.DStream的两类操作 DStream内部其实是RDD序列，所有的DStream操作最终都转换为RDD操作。通过分析源码，可以进一步窥探这种转换是如何进行的。 DStream有一些与RDD类似的基础属性： 依赖的其它DStream列表。 生成RDD的时间间隔。 一个名为compute的计算函数 ...
分类：
其他好文 时间：
2020-07-20 13:13:18
阅读次数：
64
运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
广播变量object Main { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("readMysql").setMaster("local[2]") val sparkConte ...
分类：
其他好文 时间：
2020-07-19 11:44:16
阅读次数：
62
