码迷,mamicode.com
首页 >  
搜索关键字:大数据开发 Hadoop Spark    ( 19831个结果
RDD的cache、persist、checkpoint的区别和StorageLevel存储级别划分
为了增强容错性和高可用,避免上游RDD被重复计算的大量时间开销,Spark RDD设计了包含多种存储级别的缓存和持久化机制,主要有三个概念:cache、persist、checkout。 1、存储级别介绍(StorageLevel) 存储级别以一个枚举类StorageLevel定义,分为以下几种: ...
分类:系统相关   时间:2020-03-30 12:43:50    阅读次数:102
02 使用spark进行词频统计【scala交互】
我们已经在CentOS7中安装了spark,本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类:其他好文   时间:2020-03-30 00:07:08    阅读次数:103
大数据平台搭建:Hadoop-3.1.3+Hive-3.1.2+HBase-2.2.3+Zookeeper-3.5.7+Kafka_2.11-2.4.0+Spark-2.4.5
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类:其他好文   时间:2020-03-30 00:06:39    阅读次数:66
PySpark之RDD操作
一、什么是RDD A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can b ...
分类:其他好文   时间:2020-03-29 17:56:53    阅读次数:80
集群规模计算
一、数据规模 二、集群处理数据的吞吐量 2.1 hdfs的读写测试 Hadoop自带一个测试用的jar包,可以运行它来得知集群处理数据的性能如何 hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-c ...
分类:其他好文   时间:2020-03-29 12:35:17    阅读次数:225
python调用接口,python接收post请求接口(附完整代码)
与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类:编程语言   时间:2020-03-29 01:41:51    阅读次数:92
Windows10安装Hadoop3.0.0
前言 准备: 7Zip下载:压缩工具,支持*.tar.gz格式的压缩文件解压 Hadoop下载:http://archive.apache.org/dist/hadoop/core/,笔者选择3.0.0版本下载,官网下载的网速如同断网。。。 winutils下载:https://github.com ...
分类:Windows程序   时间:2020-03-29 01:39:57    阅读次数:164
Hadoop(三)HDFS写数据的基本流程
HDFS写数据的流程 HDFS shell上传文件a.txt,300M 对文件分块,默认每块128M。 shell向NameNode发送上传文件请求 NameNode检测文件系统目录树,看能否上传 NameNode向shell发送允许上传通知 shell向NameNode发送上传block1,备份为 ...
分类:其他好文   时间:2020-03-29 01:09:38    阅读次数:66
Hadoop面试整理
(1)Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成:MapReduce和HDFS,在高可用、扩展性等方面存在问题 1)HDFS存在的问题 1.NameNode单点故障,难以应用于在线场景。 2.NameNode压力过大,且内存受限,影响扩展性。 2)MapRedu ...
分类:其他好文   时间:2020-03-28 17:42:52    阅读次数:69
大数据生态圈 —— 单节点伪分布式环境搭建
本文参考 关于环境搭建,imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子,但是有些并没有说明为什么选择这个的版本,我们知道这些开源的技术发展很快,所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类:其他好文   时间:2020-03-28 13:35:54    阅读次数:84
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!