切片机制源码： ①for (FileStatus file: files) 每个文件单独切片。 ②long length = file.getLen() 获取文件大小。 ③while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) SPLIT_S ...
分类：
其他好文 时间：
2020-07-04 11:49:16
阅读次数：
106
工作流程1 Map Task MR工作流程2 Reduce Task 1）提交切片信息，jar包，和xml配置文件到yarn。2）Yarn ResourceManager启动一个MR AppMaster。3）AppMaster根据切片信息启动相应数量的Map Task。4）Map Task取读取按照 ...
分类：
其他好文 时间：
2020-07-03 23:29:37
阅读次数：
60
1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
项目来源厦门大学林子雨老师得Spark学习项目中，里面为部分项目代码和实验截图 读取文件 from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession from pyspark.ml.feature ...
分类：
其他好文 时间：
2020-07-03 19:04:21
阅读次数：
89
存储越困难，提取越容易 HDFS客户端操作 开发环境准备 步骤一：编译对应HadoopJar包，配置Hadoop变量 步骤二：创建Maven工程，导入pom依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>juni ...
分类：
其他好文 时间：
2020-07-03 17:56:31
阅读次数：
59
准备4台虚拟机，安装好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作为master，其他3个作为slave，主节点也同时作为namenode的同时也是datanode，192.168.168.14作为datanode的同时也作为second... ...
分类：
其他好文 时间：
2020-07-03 12:23:28
阅读次数：
70
方式一： SavaAsTable 用法： df.write.mode(SaveMode.Overwrite).insertInto(table) 方式二： InsertInto 用法： df.write.mode(SaveMode.Overwrite).saveAsTable(table) 两种方式 ...
分类：
其他好文 时间：
2020-07-03 01:10:09
阅读次数：
152
Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
1、简要描述如何安装配置一个apache开源版hadoop，描述即可 （1）解压Hadoop （2）配置JDK，防火墙、Hadoop环境 （3）修改Hadoop配置 （4）格式化namenode，对数据缓存的的路径进行格式化 （5）启动Hadoop 2、请列出正常工作的hadoop集群中hadoop ...
分类：
其他好文 时间：
2020-07-03 00:53:22
阅读次数：
83
