今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
调度系统: 1. oozie: 和hadoop、hive、spark有很强的版本依赖 ...
分类：
其他好文 时间：
2020-01-26 22:31:20
阅读次数：
91
启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/usr ...
分类：
其他好文 时间：
2020-01-26 19:28:29
阅读次数：
89
概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 S ...
分类：
其他好文 时间：
2020-01-26 19:27:55
阅读次数：
76
SparkCore、SparkSQL和SparkStreaming的类似之处 SparkStreaming的运行流程 1、我们在集群中的其中一台机器上提交我们的Application Jar，然后就会产生一个Application，开启一个Driver，然后初始化SparkStreaming的程序入 ...
分类：
其他好文 时间：
2020-01-26 19:26:57
阅读次数：
73
JDK的安装 JDK使用root用户安装 上传安装包并解压 配置环境变量 验证Java版本 配置配置ssh localhost 检测 正常情况下，本机通过ssh连接自己也是需要输入密码的 生成私钥和公钥秘钥对 将公钥添加到authorized_keys 赋予authorized_keys文件600的 ...
分类：
其他好文 时间：
2020-01-26 19:25:35
阅读次数：
94
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User Defined Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User Defined Aggregation Funcation），用户自定义聚合函数，类似在g ...
分类：
数据库 时间：
2020-01-26 19:21:32
阅读次数：
86
概述 SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的 ...
分类：
数据库 时间：
2020-01-26 19:19:05
阅读次数：
102
概述 垃圾收集 Garbage Collection 通常被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。 jvm 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理，因此， ...
分类：
其他好文 时间：
2020-01-26 19:18:20
阅读次数：
90
图 基本概念 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。 这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面 常用的应用有：在地图应用中找到最短路径、基于与他人的相似度图，推荐产品、服 ...
分类：
其他好文 时间：
2020-01-26 19:15:45
阅读次数：
89
