编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 20 ...
分类：
其他好文 时间：
2020-02-08 00:38:35
阅读次数：
200
Spark写HBase 要通过Spark向 HBase 写入数据，我们需要用到PairRDDFunctions.saveAsHadoopDataset的方式。 package cn.com.win import org.apache.hadoop.hbase.HBaseConfiguration i ...
分类：
其他好文 时间：
2020-02-08 00:03:34
阅读次数：
53
1．spark-shell交互式编程 （1） 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] ...
分类：
其他好文 时间：
2020-02-07 22:19:06
阅读次数：
182
利用pc编写python爬取大学排名的数据，如图： import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.rais ...
分类：
编程语言 时间：
2020-02-07 22:17:53
阅读次数：
89
今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl ...
分类：
其他好文 时间：
2020-02-07 22:13:50
阅读次数：
85
一、大数据spark 跟着b站的尚硅谷大数据往后学习了7个知识点 视频号：av62992342 内容：学习了行动算子与task执行序列化 课程学习进度：47/126 二、《一线架构师实践指南》阅读 阅读了第七章 Conceptual Architecture总论 ...
分类：
其他好文 时间：
2020-02-07 20:55:31
阅读次数：
51
第二题： 第一步：在当前目录下新建一个目录 mkdir -p src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个 remdup.scala 在目录/usr/local/spark/mycode/remdup ...
分类：
其他好文 时间：
2020-02-07 20:41:24
阅读次数：
101
spark-shell 交互式编程 数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 请根据给定的实验数据，在 s ...
分类：
其他好文 时间：
2020-02-07 18:33:27
阅读次数：
72
今天完成了实验任务五-Spark SQL 编程初级实践 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest，再建表 employee，包含下列两行数据； 表 1 employee 表原有数据 id name gender age ...
分类：
其他好文 时间：
2020-02-07 14:32:42
阅读次数：
88
今天本来想把昨天安装的intellij配置好，但是一直显示没有网络，网上查了相关资料也没有查出来解决办法。 然后暂停了intellij的配置，开始做了几个Python爬取简单数据的实例，先做了几个最简单的，以后再加大难度（用idle编码）： （1）京东商品页面爬取： 链接：https://item. ...
分类：
编程语言 时间：
2020-02-07 01:02:38
阅读次数：
79
