（1）flink的任务提交流程（无Dispatcher提交） 1、client向yarn提交application后，同时向HDFS上传flink的Jar包和配置。ResourceManager为application分配Container资源并通知对应的NodeManager启动Applicati ...
分类：
其他好文 时间：
2020-05-27 18:53:08
阅读次数：
80
注意是否是NAT模式 可以将 etc/sysconfig/network-script/ifcfg-** 的文件删掉 ，然后在虚拟网络编辑器还原一下设置重新分配ip 分配新的ip后之前的 yarn resourcemanager 启动不了了 需要 <property> <name>yarn.reso ...
分类：
其他好文 时间：
2020-04-27 11:17:17
阅读次数：
75
1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == ...
分类：
其他好文 时间：
2020-04-26 01:22:24
阅读次数：
78
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于分布式的操作系统平台。 Yarn基本架构 Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 ResourceManager的作用： 处理客户端请 ...
分类：
其他好文 时间：
2020-03-13 20:25:14
阅读次数：
53
一.以之前搭建的为云计算平台为主节点 角色分配 Master:NameNode/DataNode ResourceManager/NodeManager Slave1:DataNode NodeManager Slave2:DataNode NodeManager 1. 修改hostname 2. ...
分类：
其他好文 时间：
2020-03-03 13:20:26
阅读次数：
95
1.spark 架构， scala，IDE，compiler，plugin，hadoop，resourcemanager，taskscheduler，line，递归函数，memory，shuffle， dag,stage,taskset, sparksql,rdd,dataframe 二维表格，sq ...
分类：
其他好文 时间：
2020-01-16 14:23:34
阅读次数：
118
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
1、Spark核心组件 1.1 Cluster Manager(Master,ResourceManager) Spark的集群管理器，主要负责对整个集群资源的分配与管理 Cluster Manager 在 Yarn 部署模式下为 ResourceManager 在 Mesos 部署模式下为 Mes ...
分类：
其他好文 时间：
2019-12-22 14:51:31
阅读次数：
93
1. client端向ResourceManager提交应用程序, 也就是client端会将 jar包,参数等数据上传到hdfs上的某路径下; 2. resourceManager将此应用程序添加到任务队列中; 3. 等待资源充沛时, resourceManager为该应用程序分配第一个contai ...
分类：
其他好文 时间：
2019-12-14 22:38:22
阅读次数：
128
