1.spark中partition的概念partition是RDD的最小单元，是盛放文件的盒子，一个文件可能需要多个partition，但是一个partition只能存放一个文件中的内容，partition是spark计算中，生成的数据在计算空间内最小单元，2.fileWriter.flush()f ...
分类：
其他好文 时间：
2020-02-04 20:10:54
阅读次数：
81
其实，一开始我应聘的是Spark，Hadoop这样的，然后后面呢，发现只有Java的业务给我写了，再后面我发现，公司招不到前端，所以前端要由后端来写，刺激！！！数据驱动首先要明白一个概念，那就是DOM其实是数据的一种映射，在之前jQuery的时代，当数据发生改变时，我们需要手动改变DOM，而Vue的... ...
分类：
其他好文 时间：
2020-02-04 11:01:46
阅读次数：
90
1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen ...
分类：
Web程序 时间：
2020-02-04 00:37:16
阅读次数：
104
今天你完成实验四前两个实验。但是！！！在跟eclipse的scala插件做斗争的时候，把hadoop的插件给搞没了，按着林子雨老师的教程走了一遍还是不行，不知不觉又搞了一下午，还是没解决。明天把实验四完成，做一些实验五，希望明天可以把eclipse的问题解决。 1．spark-shell 交互式编程 ...
分类：
其他好文 时间：
2020-02-03 22:31:42
阅读次数：
159
今天完成了实验四的第二问和第三问 第二题 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 2017010 ...
分类：
其他好文 时间：
2020-02-03 20:55:17
阅读次数：
126
今天主要完成了焊缝识别软件界面的全部书写，完成了软件著作权申请说明书，准备交给学长做进一步的修改提交申请。如果成功的话就是第二个软件著作权了。 因为重新装了系统，所以得重新装虚拟机和hadoop，spark环境，决定明天开始。 部分代码如下： # -*- coding: utf-8 -*- # Fo ...
分类：
其他好文 时间：
2020-02-03 20:44:09
阅读次数：
88
学习于大数据原理与应用 第十六章 Spark 学习指南 三、独立应用程序编程 2.Scala应用程序代码 cd ~ # 进入用户主文件夹 mkdir ./sparkapp # 创建应用程序根目录 mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构 vim ...
分类：
其他好文 时间：
2020-02-03 19:26:17
阅读次数：
78
今天没有继续整数据，这个数据还需要进一步的清洗，很麻烦，暂时不想清洗，今天看了一部分spark的内容，在网上查找了一些资料，明天将使用eclipse连接spark进行编程实验，或者进行数据的清洗。 今天也将数据导入到了数据库中。 ...
分类：
其他好文 时间：
2020-02-03 19:08:28
阅读次数：
48
今天完成了实验四，对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解 之前安装完sbt后对于后面的打包需要下载一些文件一直失败，后来我把 在网上查询解决方案，找了很久终于 教程里spark-core 换成了spark-sql 然后就下载成功了 ...
分类：
其他好文 时间：
2020-02-03 13:55:53
阅读次数：
72
安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具，下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后，执行如下命令拷贝至 ...
分类：
其他好文 时间：
2020-02-03 13:34:38
阅读次数：
100
