import org.apache.spark.{SparkConf, SparkContext} object wc2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").s ...
分类：
其他好文 时间：
2019-12-03 15:30:38
阅读次数：
89
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}object WorldCount { def main(args: Array[String]): Unit ={ ...
分类：
其他好文 时间：
2019-12-02 13:48:52
阅读次数：
85
<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <dependen ...
分类：
其他好文 时间：
2019-12-02 13:38:48
阅读次数：
249
import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionobject SparkSql { def main(args: Array[String]): Unit ={ Logger.getLogg ...
分类：
数据库 时间：
2019-12-02 13:30:16
阅读次数：
107
Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 /** * driver调度机制原理代码分析Schedule the currently available resources among w ...
分类：
其他好文 时间：
2019-12-01 22:35:51
阅读次数：
96
原理图解： Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 //截取了部分代码 //处理Application注册的请求 case RegisterApplication(descriptio ...
分类：
移动开发 时间：
2019-12-01 22:32:21
阅读次数：
139
SSD和内存数据库技术 自己的理解还是不是很对 SSD 提升的是 随机读 并没有对顺序写有多大的提升, 因为数据库采用的是redo的模式. 理论上写入 时是顺序写 所以 写并发的提升不会很大 但是会很大的提升读取的速度. 2016-04-26 10:57:47 dingdingfish 阅读数 76 ...
分类：
数据库 时间：
2019-11-30 09:47:37
阅读次数：
97
Spark Streaming应用也是Spark应用，Spark Streaming生成的DStream最终也是会转化成RDD，然后进行RDD的计算，所以Spark Streaming最终的计算是RDD的计算，那么Spark Streaming的原理当然也包含了Spark应用通用的原理。Spark ...
分类：
其他好文 时间：
2019-11-29 18:27:58
阅读次数：
85
怎样提高Spark Streaming的性能 1、创建多个接收器 待定：： 2、调节每一个batch interval的数据块的数量，其实就是调整上面第二个问题中提到的配置spark.streaming.blockInterva 待定：： 3、调整Recevier每秒接收数据的速率 待定：： 4、通 ...
分类：
其他好文 时间：
2019-11-29 18:14:33
阅读次数：
86
公司的老员工很喜欢一种他们称之为“解耦”的做法： 先这么进行系统分析：把系统运行拆解为若干个环节，先执行A，再执行B，形成一个一个的步骤。 然后进行“解耦”：把每个环节变成一个服务，环节之间用 MQ 连接。环节衔接的输入输出数据形成协议规范。 “解耦”之后得到的好处是： 环节用MQ串联，当服务死掉后 ...
分类：
其他好文 时间：
2019-11-28 13:33:23
阅读次数：
81
