0 简介 Yarn-per-job模式提交流程 总图 1 程序起点 2 创建 Yarn 客户端应用程序 2.1 程序入口 2.2 解析输入参数 2.3 选择创建哪种类型的客户端 2.4 获取有效配置 2.5 调用用户代码的 main 方法 2.6 调用执行环境的 execute 方法 ...
分类：
其他好文 时间：
2021-03-05 13:16:30
阅读次数：
0
Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 HDFS（Hadoop分布式文件系统）是Hadoop体系中 数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于 ...
分类：
其他好文 时间：
2021-03-02 12:24:42
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:20:23
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
环境：ubuntu-server18.4 with desktop installed 问题：安装ubuntu之后启动系统网卡没有自动启动，然后我就在 /etc/netplan/xxxx-netcfg.yaml文件下面加上了下面的信息： ethernets: ens33: dhcp4: true d ...
分类：
Web程序 时间：
2021-03-02 11:45:10
阅读次数：
0
2021-02-26 22:54:13.146272: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1406] Created TensorFlow device (/job:localhost/replica:0/task:0/device ...
分类：
其他好文 时间：
2021-02-27 13:21:07
阅读次数：
0
0.介绍 Open-source job scheduling system for .NET Quartz.net 是调度任务框架，我们可以用来定时发送邮件、定时处理邮件、定时统计分析数据、定时监控... 本文介绍Quartz.net的简单使用 1. 参考资料 官方Doc https://www. ...
分类：
Web程序 时间：
2021-02-23 14:35:15
阅读次数：
0
配置匿名FTP服务器在修改完/etc/vsftpd/vsftpd.conf文件后restart出现error
Job for vsftpd.service failed because the control process exited with error code. See "systemct... ...
分类：
其他好文 时间：
2021-02-23 14:23:37
阅读次数：
0
