2020寒假生活学习日记（二）

标签：spark   技术   file   shell   使用   编写   http   with   代码   

使用 Spark Shell 编写代码

启动Spark Shell:

加载txt文件：

 简单的RDD操作：

//获取RDD文件textFile的第一行内容
textFile.first()

//获取RDD文件textFile所有项的计数
textFile.count()

//抽取含有“Spark”的行，返回一个新的RDD
val lineWithSpark = textFile.filter(line => line.contains("Spark"))

//统计新的RDD的行数
lineWithSpark.count()

2020寒假生活学习日记（二）

标签：spark   技术   file   shell   使用   编写   http   with   代码   

原文地址：https://www.cnblogs.com/jccjcc/p/12251599.html