一般来说，一个spark程序包含两种 JVM 程序，Dirver 和 Executor。Dirver 是主要的控制程序，负责创建 context，提交任务，那 job 转换为 task 并且协调 task 在 executor 中的执行。Executor 主要是负责执行计算任务并且将结果返回给 Dr ...
分类：
其他好文 时间：
2020-05-24 23:52:11
阅读次数：
70
object Test { def main(args: Array[String]) { try { val f = new FileReader("input.txt") } catch { case ex: FileNotFoundException =>{ println("Missing ...
分类：
其他好文 时间：
2020-05-24 22:31:48
阅读次数：
82
Scala开发坏境设置(IDEA) 1、下载scala开发环境 进入scala官网，下载相关安装包。 https://www.scala lang.org/ 下拉看到相应选项：windows可以选择msi或者zip版本。 2、配置环境变量 选择msi版不需要配置，跳过。 zip版本解压，将scala ...
分类：
其他好文 时间：
2020-05-24 19:13:40
阅读次数：
51
简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式 个人理解 yarn主要有两个作用. 一个是创建container以此来分配计算资源 另外一个 ...
分类：
其他好文 时间：
2020-05-24 11:33:26
阅读次数：
64
DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD
分类：
其他好文 时间：
2020-05-24 10:00:38
阅读次数：
88
前置 希望通过这篇文章帮助你很好的适配移动端项目，如有不足，恳请指点一二！ 单位 分辨率: 单位面积显示像素的数量，和 css 无关 DPI：图像每英寸长度内的像素点数（1 英尺=30.48 厘米） css 的 px: 96 DPI 的单像素的物理大小 物理像素：在由一个数字序列表示的图像中的一个最 ...
分类：
移动开发 时间：
2020-05-24 09:32:57
阅读次数：
102
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题的第六篇文章，这篇文章会介绍一个免费的spark平台，我们可以基于这个平台做一些学习实验。 databricks 今天要介绍的平台叫做databricks，它是spark的创建者开发的统一分析平台。单凭spark创建 ...
分类：
其他好文 时间：
2020-05-24 09:23:32
阅读次数：
113
ORA-00600 Table of Contents 1. 前言 1.1. 3020 1.2. kcblin_3 1.3. kghfrunp 1.3.1. no duration 1.4. kdBlkCheckError 1.4.1. 现象 1.4.2. 分析 1.4.3. 故障处理 1.5. k ...
分类：
其他好文 时间：
2020-05-22 21:36:51
阅读次数：
82
PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类：
其他好文 时间：
2020-05-22 21:35:06
阅读次数：
51
