今天你完成实验四前两个实验。但是!!!在跟eclipse的scala插件做斗争的时候,把hadoop的插件给搞没了,按着林子雨老师的教程走了一遍还是不行,不知不觉又搞了一下午,还是没解决。明天把实验四完成,做一些实验五,希望明天可以把eclipse的问题解决。 1.spark-shell 交互式编程 ...
分类:
其他好文 时间:
2020-02-03 22:31:42
阅读次数:
159
今天主要完成了焊缝识别软件界面的全部书写,完成了软件著作权申请说明书,准备交给学长做进一步的修改提交申请。如果成功的话就是第二个软件著作权了。 因为重新装了系统,所以得重新装虚拟机和hadoop,spark环境,决定明天开始。 部分代码如下: # -*- coding: utf-8 -*- # Fo ...
分类:
其他好文 时间:
2020-02-03 20:44:09
阅读次数:
88
每个节点都要安装jdk #java environment export JAVA_HOME=/export/server/jdk1.8.0_11 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAV ...
分类:
其他好文 时间:
2020-02-02 23:51:18
阅读次数:
91
Spark提供的数据集操作类型有很多种,大致分为:转换操作和行动操作两大类,即对RDD的操作,RDD相关操作较多,这里不做表述。此外各个处理节点之间的通信模型不再像Hadoop只有Shuffle一种模式,用户可以命名、物化,控制中间结果的存储、分区等。下载完Spark后,启动spark shell ...
分类:
其他好文 时间:
2020-02-02 23:31:13
阅读次数:
247
package cn.itcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache. ...
分类:
其他好文 时间:
2020-02-02 23:19:55
阅读次数:
98
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性,而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS(分布式文件系统) Mapreduce(分布式计算框架) map函数 Reduce (函数) YAR ...
分类:
其他好文 时间:
2020-02-02 21:55:13
阅读次数:
73
下载spark 1、网址:http://spark.apache.org/downloads.html 2、解压 sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ 3、对解压后的重命名为spark $ cd /u ...
分类:
其他好文 时间:
2020-02-02 17:29:16
阅读次数:
73
1、《CentOS6.5下安装Hadoop-2.7.3(图解教程)》 https://www.toutiao.com/i6627365258090512909/ 2、《CentOS6.5-Hadoop2.7.3安装hive-2.1.1》 https://www.toutiao.com/i662772 ...
分类:
其他好文 时间:
2020-02-02 14:10:28
阅读次数:
109
今天写的实验三 1.i京安装完成spark和hadoop (1) 启动 Hadoop,在 HDFS 中创建用户目录“/user/hadoop”; cd /usr/local/hadoop ./bin/hdfs dfs –mkdir –p /user/hadoop (2) 在 Linux 系统的本地文 ...
分类:
其他好文 时间:
2020-02-02 13:48:18
阅读次数:
96
分布式数据集 编辑 Spark围绕的核心概念,是弹性分布式数据集(RDD),一个有容错机制,可以被并行操作的集合。目前有两种类型的RDD: 并行集合(Parrallelized Collections),接收一个已经存在的Scala集合,在它上面运行各种并发计算; Hadoop数据集(Hadoop ...
分类:
其他好文 时间:
2020-02-01 23:17:16
阅读次数:
80