概述 SparkSQL 的元数据的状态有两种： 1、in_memory,用完了元数据也就丢了 2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的 ...
分类：
数据库 时间：
2020-01-26 19:19:05
阅读次数：
102
概述 垃圾收集 Garbage Collection 通常被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。 jvm 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理，因此， ...
分类：
其他好文 时间：
2020-01-26 19:18:20
阅读次数：
90
图 基本概念 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。 这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面 常用的应用有：在地图应用中找到最短路径、基于与他人的相似度图，推荐产品、服 ...
分类：
其他好文 时间：
2020-01-26 19:15:45
阅读次数：
89
Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Ex ...
分类：
其他好文 时间：
2020-01-26 19:15:00
阅读次数：
66
概述 上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图： 源码解读 spark submit 所以spark submit脚本的整体逻辑就是： 首先 检查SP ...
分类：
其他好文 时间：
2020-01-26 19:14:32
阅读次数：
76
RDD的概述 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时 ...
分类：
其他好文 时间：
2020-01-26 19:13:00
阅读次数：
66
JVM的结构图 Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配； 方法区存储类信息、常 ...
分类：
其他好文 时间：
2020-01-26 19:10:01
阅读次数：
68
概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark ...
分类：
其他好文 时间：
2020-01-26 19:09:49
阅读次数：
56
官网介绍 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark? 是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用 ...
分类：
其他好文 时间：
2020-01-26 19:08:26
阅读次数：
75
SparkSQL的进化之路 1.0以前： Shark 1.1.x开始： SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试版本) ...
分类：
数据库 时间：
2020-01-26 19:06:08
阅读次数：
99
