代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}object WorldCount { def main(args: Array[String]): Unit ={ ...
分类：
其他好文 时间：
2019-12-02 13:48:52
阅读次数：
85
<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <dependen ...
分类：
其他好文 时间：
2019-12-02 13:38:48
阅读次数：
249
import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionobject SparkSql { def main(args: Array[String]): Unit ={ Logger.getLogg ...
分类：
数据库 时间：
2019-12-02 13:30:16
阅读次数：
107
Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 /** * driver调度机制原理代码分析Schedule the currently available resources among w ...
分类：
其他好文 时间：
2019-12-01 22:35:51
阅读次数：
96
原理图解： Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 //截取了部分代码 //处理Application注册的请求 case RegisterApplication(descriptio ...
分类：
移动开发 时间：
2019-12-01 22:32:21
阅读次数：
139
一 scala介绍 Scala是一门以java虚拟机（JVM）为目标运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 1) Scala 是一门多范式 (multi-paradigm) 的编程语言，Scala支持面向对象和函数式编程 2) Scala源代码(.scala)会被编 ...
分类：
其他好文 时间：
2019-12-01 13:25:30
阅读次数：
76
SSD和内存数据库技术 自己的理解还是不是很对 SSD 提升的是 随机读 并没有对顺序写有多大的提升, 因为数据库采用的是redo的模式. 理论上写入 时是顺序写 所以 写并发的提升不会很大 但是会很大的提升读取的速度. 2016-04-26 10:57:47 dingdingfish 阅读数 76 ...
分类：
数据库 时间：
2019-11-30 09:47:37
阅读次数：
97
Spark Streaming应用也是Spark应用，Spark Streaming生成的DStream最终也是会转化成RDD，然后进行RDD的计算，所以Spark Streaming最终的计算是RDD的计算，那么Spark Streaming的原理当然也包含了Spark应用通用的原理。Spark ...
分类：
其他好文 时间：
2019-11-29 18:27:58
阅读次数：
85
怎样提高Spark Streaming的性能 1、创建多个接收器 待定：： 2、调节每一个batch interval的数据块的数量，其实就是调整上面第二个问题中提到的配置spark.streaming.blockInterva 待定：： 3、调整Recevier每秒接收数据的速率 待定：： 4、通 ...
分类：
其他好文 时间：
2019-11-29 18:14:33
阅读次数：
86
1. https://www.scala-lang.org/download/ 安装路径，建议采用命令形式 2. 安装之前检查下支持安装的版本：brew search scala 3. 指定版本进行安装：brew install scala@2.10 4. 下载完成后需要将路径配置到~/.bash_ ...
分类：
其他好文 时间：
2019-11-29 10:36:26
阅读次数：
58
