1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen ...
分类：
Web程序 时间：
2020-02-04 00:37:16
阅读次数：
104
今天你完成实验四前两个实验。但是！！！在跟eclipse的scala插件做斗争的时候，把hadoop的插件给搞没了，按着林子雨老师的教程走了一遍还是不行，不知不觉又搞了一下午，还是没解决。明天把实验四完成，做一些实验五，希望明天可以把eclipse的问题解决。 1．spark-shell 交互式编程 ...
分类：
其他好文 时间：
2020-02-03 22:31:42
阅读次数：
159
今天完成了实验四的第二问和第三问 第二题 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 2017010 ...
分类：
其他好文 时间：
2020-02-03 20:55:17
阅读次数：
126
今天主要完成了焊缝识别软件界面的全部书写，完成了软件著作权申请说明书，准备交给学长做进一步的修改提交申请。如果成功的话就是第二个软件著作权了。 因为重新装了系统，所以得重新装虚拟机和hadoop，spark环境，决定明天开始。 部分代码如下： # -*- coding: utf-8 -*- # Fo ...
分类：
其他好文 时间：
2020-02-03 20:44:09
阅读次数：
88
学习于大数据原理与应用 第十六章 Spark 学习指南 三、独立应用程序编程 2.Scala应用程序代码 cd ~ # 进入用户主文件夹 mkdir ./sparkapp # 创建应用程序根目录 mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构 vim ...
分类：
其他好文 时间：
2020-02-03 19:26:17
阅读次数：
78
今天没有继续整数据，这个数据还需要进一步的清洗，很麻烦，暂时不想清洗，今天看了一部分spark的内容，在网上查找了一些资料，明天将使用eclipse连接spark进行编程实验，或者进行数据的清洗。 今天也将数据导入到了数据库中。 ...
分类：
其他好文 时间：
2020-02-03 19:08:28
阅读次数：
48
今天完成了实验四，对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解 之前安装完sbt后对于后面的打包需要下载一些文件一直失败，后来我把 在网上查询解决方案，找了很久终于 教程里spark-core 换成了spark-sql 然后就下载成功了 ...
分类：
其他好文 时间：
2020-02-03 13:55:53
阅读次数：
72
安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后，执行如下命令拷贝至 ...
分类：
其他好文 时间：
2020-02-03 13:34:38
阅读次数：
100
1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网： https://spark.apache.org/docs/2.3.0/streaming programming guide.html GitHub： https://github.com/apach ...
分类：
其他好文 时间：
2020-02-02 23:57:50
阅读次数：
161
一、大数据spark 跟着csdn的scala教程搭建了spark所用语言scala的环境 https://edu.csdn.net/course/play/20364/292538 跟着b站的尚硅谷大数据学习了8个知识点，视频号：av62992342 初步了解了spark的各方面知识，并且使用其做 ...
分类：
其他好文 时间：
2020-02-02 23:55:34
阅读次数：
122
