一、大数据spark 跟着b站的尚硅谷大数据往后学习了7个知识点 视频号：av62992342 内容：学习了RDD的一些知识，包括保存读取和操作数据库 课程学习进度：54/126 二、《一线架构师实践指南》阅读 阅读了第八章 初步设计（主要讲述了鲁棒图） ...
分类：
其他好文 时间：
2020-02-08 22:00:13
阅读次数：
67
什么是DataFrame 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。 RDD和DataFrame的区别 DataFrame与RDD的主要区别在于，DataFrame带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有 ...
分类：
其他好文 时间：
2020-02-08 17:12:33
阅读次数：
58
编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 20 ...
分类：
其他好文 时间：
2020-02-08 00:38:35
阅读次数：
200
Spark写HBase 要通过Spark向 HBase 写入数据，我们需要用到PairRDDFunctions.saveAsHadoopDataset的方式。 package cn.com.win import org.apache.hadoop.hbase.HBaseConfiguration i ...
分类：
其他好文 时间：
2020-02-08 00:03:34
阅读次数：
53
1．spark-shell交互式编程 （1） 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] ...
分类：
其他好文 时间：
2020-02-07 22:19:06
阅读次数：
182
利用pc编写python爬取大学排名的数据，如图： import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.rais ...
分类：
编程语言 时间：
2020-02-07 22:17:53
阅读次数：
89
今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl ...
分类：
其他好文 时间：
2020-02-07 22:13:50
阅读次数：
85
一、大数据spark 跟着b站的尚硅谷大数据往后学习了7个知识点 视频号：av62992342 内容：学习了行动算子与task执行序列化 课程学习进度：47/126 二、《一线架构师实践指南》阅读 阅读了第七章 Conceptual Architecture总论 ...
分类：
其他好文 时间：
2020-02-07 20:55:31
阅读次数：
51
第二题： 第一步：在当前目录下新建一个目录 mkdir -p src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个 remdup.scala 在目录/usr/local/spark/mycode/remdup ...
分类：
其他好文 时间：
2020-02-07 20:41:24
阅读次数：
101
spark-shell 交互式编程 数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 请根据给定的实验数据，在 s ...
分类：
其他好文 时间：
2020-02-07 18:33:27
阅读次数：
72
