1.需求：模拟实现YARN（具有注册和心跳的功能）2.实现思路图代码实现：用于存放，相应的ActorSystem，Actor的name//用于存放，相应的ActorSystem，Actor的nameobjectConstant{valRMRS="MyResourceManagerActorSystem"valRMA="MyResourceManagerActor"valNMAS="MyNodeMa
分类：
其他好文 时间：
2019-01-01 22:41:23
阅读次数：
171
一、yarn简介 yarn是在hadoop2.x中才引入的一个新的机制，在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配，那么引入yarn之后，hadoop的资源管理的任务就全部交给yarn来处理，从而实现存储、任务、资源的分离。 二、yarn的主要角色 1.Resource ...
分类：
其他好文 时间：
2019-01-01 21:44:24
阅读次数：
240
2018的最后一个工作日，是在调式和诊断问题的过程中度过，原本可以按时下班，毕竟最后一天了，然鹅，确是一直苦苦挣扎。 废话不多说，先描述一下问题：有一套大数据环境，是CDH版本的，总共4台机子，我们的应用程序与大数据集群之前已经集成完毕，调试没有问题，可以运行Spark任务。而与这个集群集成是17年 ...
分类：
其他好文 时间：
2019-01-01 17:54:05
阅读次数：
278
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
分类：
其他好文 时间：
2018-12-29 18:37:56
阅读次数：
220
Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 1.1. Local模式 对于 Local 模式来说，JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。如果要验证一个简单的应用，Loc ...
分类：
其他好文 时间：
2018-12-29 13:57:41
阅读次数：
227
1. 安装依赖：yarn add sass-loader node-sass 2. 放在rule里就可以 找到config里面的两个配置文档。 配置的内容都是一样的。 代码是：{ test: /\.scss$/, loaders: ['style-loader', 'css-loader', 'sa ...
分类：
Web程序 时间：
2018-12-26 20:20:57
阅读次数：
189
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 ...
分类：
其他好文 时间：
2018-12-23 17:50:05
阅读次数：
195
create-react-app(简称cra)已经更新之2.0.3版本, babel也更新至7.x版本, JavaScript装饰器语法虽然还不是标准, 但是借助于babel, 也能在项目里愉快的玩耍. cra2.0时代如何启用装饰器语法呢? 我们依旧采用的是react-app-rewired, 通 ...
分类：
移动开发 时间：
2018-12-23 14:01:15
阅读次数：
334
一：hadoop安装 /etc/profile hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml 启动命令： 监控端口： 二：zookeeper安装 conf/zoo.cfg 启动和停止 进入bin目录，启 ...
分类：
其他好文 时间：
2018-12-20 20:35:54
阅读次数：
250
1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而Y ...
分类：
其他好文 时间：
2018-12-19 12:59:34
阅读次数：
168
