1）创建一个样例类 scala> case class People(name:String,age:Long)defined class People 2）创建DataSet scala> val caseClassDS = Seq(People("Andy",32)).toDS()caseCla ...
分类：
其他好文 时间：
2019-10-09 00:19:05
阅读次数：
254
使用idea运行重构好的spark sql，在编译期出现如下错误： ANTLR Tool version 4.5.3 used for code generation does not match the current runtime version 4.7.2ANTLR 原因： 点击进入依赖，看 ...
分类：
其他好文 时间：
2019-10-08 14:43:02
阅读次数：
1371
主要围绕spark的底层核心抽象RDD和原理进行理解。主要包括以下几个方面 RDD弹性分布式数据集的依赖关系 RDD弹性分布式数据集的lineage血统机制 RDD弹性分布式数据集的缓存机制 spark任务的DAG有向无环图的构建 spark任务如何划分stage spark任务的提交和调度流程 1 ...
分类：
其他好文 时间：
2019-10-07 23:44:39
阅读次数：
217
概述Spark SQL 是 Spark 处理结构化数据的模块; 与基础的 Spark RDD API 不同, Spark SQL 提供的接口提供给 Spark 更多的关于数据和执行计算的结; 内在的, Spark SQL 使用这些额外的信息去执行额外的优化; 这里有几种包括 SQL 和 Datase... ...
分类：
数据库 时间：
2019-10-07 17:41:23
阅读次数：
102
几位朋友找我，做一个基于spark的推荐系统。我们于是买了三台阿里云服务器折腾一下。 1.配置putty和安装nano 2.配置主机映射 /etc/hosts 3. ...
分类：
其他好文 时间：
2019-10-07 13:34:38
阅读次数：
92
.NET for Apache® Spark? 开源大数据分析工具： 1、官方文档： https://dotnet.microsoft.com/apps/data/spark 2、介绍：https://devblogs.microsoft.com/dotnet/introducing-net-for ...
分类：
Web程序 时间：
2019-10-06 13:07:01
阅读次数：
114
策略模式通常与使用标准模式的Java数据流（stream，Java 8之后有）或者Spark的RDD数据流配合使用，用于改变数据的处理策略，一般用在map和reduce操作。 意图：定义一系列的算法,把它们一个个封装起来, 并且使它们可相互替换。 主要解决：在有多种算法相似的情况下，使用 if... ...
分类：
其他好文 时间：
2019-10-05 13:00:04
阅读次数：
93
一、分布式估算圆周率计算原理：假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数 ...
分类：
其他好文 时间：
2019-10-05 00:42:14
阅读次数：
97
