每个节点都要安装jdk #java environment export JAVA_HOME=/export/server/jdk1.8.0_11 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAV ...
分类：
其他好文 时间：
2020-02-02 23:51:18
阅读次数：
91
Spark提供的数据集操作类型有很多种，大致分为：转换操作和行动操作两大类，即对RDD的操作，RDD相关操作较多，这里不做表述。此外各个处理节点之间的通信模型不再像Hadoop只有Shuffle一种模式，用户可以命名、物化，控制中间结果的存储、分区等。下载完Spark后，启动spark shell ...
分类：
其他好文 时间：
2020-02-02 23:31:13
阅读次数：
247
package cn.itcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache. ...
分类：
其他好文 时间：
2020-02-02 23:19:55
阅读次数：
98
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
下载spark 1、网址：http://spark.apache.org/downloads.html 2、解压 sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ 3、对解压后的重命名为spark $ cd /u ...
分类：
其他好文 时间：
2020-02-02 17:29:16
阅读次数：
73
1、《CentOS6.5下安装Hadoop-2.7.3（图解教程）》 https://www.toutiao.com/i6627365258090512909/ 2、《CentOS6.5-Hadoop2.7.3安装hive-2.1.1》 https://www.toutiao.com/i662772 ...
分类：
其他好文 时间：
2020-02-02 14:10:28
阅读次数：
109
今天写的实验三 1.i京安装完成spark和hadoop （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； cd /usr/local/hadoop ./bin/hdfs dfs –mkdir –p /user/hadoop （2） 在 Linux 系统的本地文 ...
分类：
其他好文 时间：
2020-02-02 13:48:18
阅读次数：
96
1、《HBase基础概念知识学习》 https://www.toutiao.com/i6774215329498268164/ 2、《VM安装CentOS6.5》 https://www.toutiao.com/i6739774433692484109/ 3、《HBase基础环境搭建》 https: ...
分类：
其他好文 时间：
2020-02-02 13:35:37
阅读次数：
73
分布式数据集 编辑 Spark围绕的核心概念，是弹性分布式数据集（RDD），一个有容错机制，可以被并行操作的集合。目前有两种类型的RDD： 并行集合(Parrallelized Collections)，接收一个已经存在的Scala集合，在它上面运行各种并发计算； Hadoop数据集（Hadoop ...
分类：
其他好文 时间：
2020-02-01 23:17:16
阅读次数：
80
使用Sqoop将mysql数据传到hive 系统环境：hadoop2.65，mysql5.7.28，sqoop1.47，hive1.2.2，虚拟机centos7，物理机windows10 注意点：安装sqoop不要将目录设在hadoop下面，否则在运行下面命令时会发生找不到jar包的问题，我估计是系 ...
分类：
其他好文 时间：
2020-02-01 21:20:23
阅读次数：
297
