为了增强容错性和高可用,避免上游RDD被重复计算的大量时间开销,Spark RDD设计了包含多种存储级别的缓存和持久化机制,主要有三个概念:cache、persist、checkout。 1、存储级别介绍(StorageLevel) 存储级别以一个枚举类StorageLevel定义,分为以下几种: ...
分类:
系统相关 时间:
2020-03-30 12:43:50
阅读次数:
102
我们已经在CentOS7中安装了spark,本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类:
其他好文 时间:
2020-03-30 00:07:08
阅读次数:
103
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类:
其他好文 时间:
2020-03-30 00:06:39
阅读次数:
66
一、什么是RDD A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can b ...
分类:
其他好文 时间:
2020-03-29 17:56:53
阅读次数:
80
一、数据规模 二、集群处理数据的吞吐量 2.1 hdfs的读写测试 Hadoop自带一个测试用的jar包,可以运行它来得知集群处理数据的性能如何 hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-c ...
分类:
其他好文 时间:
2020-03-29 12:35:17
阅读次数:
225
与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类:
编程语言 时间:
2020-03-29 01:41:51
阅读次数:
92
前言 准备: 7Zip下载:压缩工具,支持*.tar.gz格式的压缩文件解压 Hadoop下载:http://archive.apache.org/dist/hadoop/core/,笔者选择3.0.0版本下载,官网下载的网速如同断网。。。 winutils下载:https://github.com ...
HDFS写数据的流程 HDFS shell上传文件a.txt,300M 对文件分块,默认每块128M。 shell向NameNode发送上传文件请求 NameNode检测文件系统目录树,看能否上传 NameNode向shell发送允许上传通知 shell向NameNode发送上传block1,备份为 ...
分类:
其他好文 时间:
2020-03-29 01:09:38
阅读次数:
66
(1)Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成:MapReduce和HDFS,在高可用、扩展性等方面存在问题 1)HDFS存在的问题 1.NameNode单点故障,难以应用于在线场景。 2.NameNode压力过大,且内存受限,影响扩展性。 2)MapRedu ...
分类:
其他好文 时间:
2020-03-28 17:42:52
阅读次数:
69
本文参考 关于环境搭建,imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子,但是有些并没有说明为什么选择这个的版本,我们知道这些开源的技术发展很快,所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类:
其他好文 时间:
2020-03-28 13:35:54
阅读次数:
84