编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 20 ...
分类：
其他好文 时间：
2020-02-08 00:38:35
阅读次数：
200
Scala需要使用java.io.PrintWriter实现把数据写入到文本文件。 采用相对路径时，当使用用户名hadoop登录Linux系统，打开Scala解释器进入命令提示符状态后，输入以下代码: scala> import java.io.PrintWriter import java.io. ...
分类：
其他好文 时间：
2020-02-08 00:12:18
阅读次数：
64
Spark写HBase 要通过Spark向 HBase 写入数据，我们需要用到PairRDDFunctions.saveAsHadoopDataset的方式。 package cn.com.win import org.apache.hadoop.hbase.HBaseConfiguration i ...
分类：
其他好文 时间：
2020-02-08 00:03:34
阅读次数：
53
1．spark-shell交互式编程 （1） 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] ...
分类：
其他好文 时间：
2020-02-07 22:19:06
阅读次数：
182
利用pc编写python爬取大学排名的数据，如图： import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.rais ...
分类：
编程语言 时间：
2020-02-07 22:17:53
阅读次数：
89
今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl ...
分类：
其他好文 时间：
2020-02-07 22:13:50
阅读次数：
85
一、大数据spark 跟着b站的尚硅谷大数据往后学习了7个知识点 视频号：av62992342 内容：学习了行动算子与task执行序列化 课程学习进度：47/126 二、《一线架构师实践指南》阅读 阅读了第七章 Conceptual Architecture总论 ...
分类：
其他好文 时间：
2020-02-07 20:55:31
阅读次数：
51
第二题： 第一步：在当前目录下新建一个目录 mkdir -p src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个 remdup.scala 在目录/usr/local/spark/mycode/remdup ...
分类：
其他好文 时间：
2020-02-07 20:41:24
阅读次数：
101
今天主要进行scala学习，再b站上找好了一个比较不错的视频。 视频链接：https://www.bilibili.com/video/av39126512?from=search&seid=11655088589598890079 scala可以访问现存的数之不尽的java类库，迁移到scala更 ...
分类：
其他好文 时间：
2020-02-07 19:12:23
阅读次数：
65
spark-shell 交互式编程 数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 请根据给定的实验数据，在 s ...
分类：
其他好文 时间：
2020-02-07 18:33:27
阅读次数：
72
