一、大数据spark 跟进scala的知识点学习。 视频号： av64039811 二、《一线架构师实践指南》阅读 阅读了第十六章 故事：困扰已久的非功能问题 ...
分类：
其他好文 时间：
2020-02-14 22:27:43
阅读次数：
86
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
1.keys 功能： 返回所有键值对的key 示例 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = rdd.map(x => (x,1)) pairRdd.ke ...
分类：
其他好文 时间：
2020-02-14 18:33:43
阅读次数：
110
1．Spark SQL 基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json。 { "id":1 ,"name":" Ella","age":36 } { "id":2,"name":"Bob","age":29 ...
分类：
其他好文 时间：
2020-02-14 10:57:37
阅读次数：
50
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 二、java独立应用编程 1、安装maven ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出a ...
分类：
编程语言 时间：
2020-02-14 10:43:07
阅读次数：
103
实验 4 RDD 编程初级实践 一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shell 交互式编程 下 ...
分类：
其他好文 时间：
2020-02-13 23:01:30
阅读次数：
143
第1章 课程介绍与学习指南本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示，课程整体安排以及如何学习更高效。第2章 开发环境与技术栈介绍本章主要针对课程中应用的开发环境以及技术栈进行相关介绍。本课中会使用，虚拟化技术: virtualbox + vagrant，容器化技术:docke ...
分类：
其他好文 时间：
2020-02-13 22:51:06
阅读次数：
806
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 1、安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内 ...
分类：
其他好文 时间：
2020-02-13 22:31:48
阅读次数：
103
安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后，执行如下命令拷贝至 ...
分类：
其他好文 时间：
2020-02-13 19:32:48
阅读次数：
73
一、大数据spark 跟着b站的尚硅谷大数据往后学习了8个知识点。 同时把scala的知识点学习了一下。 视频号： av62992342 av64039811 内容：Spark内核 课程学习进度：87/126 二、《一线架构师实践指南》阅读 阅读了第十四章 物理架构、运行架构、开发架构 ...
分类：
其他好文 时间：
2020-02-12 22:28:24
阅读次数：
64
