摘要： RDD：弹性分布式数据集，是一种特殊集合 ? 支持多种来源 ? 有容错机制 ? 可以被缓存 ? 支持并行操作。 RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑 ...
分类：
其他好文 时间：
2018-10-27 13:32:01
阅读次数：
223
关于spark 的详细操作请参照spark官网 scala 版本：2.11.8 1.添加spark maven依赖，如需访问hdfs，则添加hdfs依赖 2.sparkcontext 的创建 sc 使用结束，记得关闭 3.创建rdd 1）parallelized 方法 2）读取外部数据 一个放重要的 ...
分类：
其他好文 时间：
2018-10-27 11:00:10
阅读次数：
139
一、基本介绍 rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值 3代表每次分完组之后的每个组的初始值。 seqFunc代表combine的聚合逻辑 每一个mapTask的结果的聚合成为combine combFunc reduce端大聚合的逻辑 ...
分类：
其他好文 时间：
2018-10-27 10:57:26
阅读次数：
203
0. 说明 官方文档 Job Scheduling Spark 调度核心组件: 1. DagScheduler direct acycle graph , 有向无环图调度器 高级调度器，面向的是 stage ，为每个 job 计算 stage 的 DAG 图，跟踪 RDD 和 stage 的输出，找 ...
分类：
其他好文 时间：
2018-10-26 00:43:30
阅读次数：
147
初次尝试用 Spark+scala 完成项目的重构，由于两者之前都没接触过，所以边学边用的过程大多艰难。首先面临的是如何快速上手，然后是代码调优、性能调优。本章主要记录自己在项目中遇到的问题以及解决方式，下篇会尝试调优方法。末尾会分享自己的学习资料，也供大多菜鸟第一次使用作为参考。由于自己项目中大量 ...
分类：
其他好文 时间：
2018-10-25 20:16:08
阅读次数：
222
1、文件数据源 textFileStream，条件: 目前不支持嵌套目录 2、自定义数据源 3、RDD队列 ...
分类：
其他好文 时间：
2018-10-25 00:29:10
阅读次数：
188
输入大于0的正整数 代码如下: 1，文本框只能输入数字代码(小数点也不能输入) 代码如下: 2，只能输入数字,能输小数点. 代码如下: 3，数字和小数点方法二 代码如下: 封装成单独的函数： 代码如下: function keyPress(ob) { if (!ob.value.match(/^[\... ...
分类：
其他好文 时间：
2018-10-23 20:44:59
阅读次数：
201
1.我们在使用spark计算的时候，操作数据集的感觉很方便是因为spark帮我们封装了一个rdd（弹性分布式数据集Resilient Distributed Dataset）； 那么rdd数据本身是如何存储的呢，又是如何调度读取的？ spark大部分时候都是在集群上上运行的，那么数据本身一定是也是分 ...
分类：
其他好文 时间：
2018-10-21 19:38:49
阅读次数：
136
1、介绍 spark SQL是构建在spark core模块上的四大模块之一，提供DataFrame等丰富的API，运行期间通过spark查询优化器翻译成物理执行计划，并行计算输出结果，底层计算原理用RDD计算实现。 2、standalone模式下的spark和hive集成 1、在 /soft/sp ...
分类：
数据库 时间：
2018-10-16 22:01:43
阅读次数：
201
显示所有数据库 选择数据库并显示所有表 查询表数据 RDD -- DataFrame -- select API -- 创建临时表 -- 查询 ...
分类：
系统相关 时间：
2018-10-16 21:57:26
阅读次数：
414
