为什么要用集群 在企业中主要使用集群 在学习的过程中使用伪分布式即可，就是单点 HDFS中的 NN SNN DN YARN 的 RM 老大 NM 每个组件只有一个即可 如果nn挂了就不能再继续对外提供服务，例如客户端请求的读写，put get那些。 为了解决这个问题，企业一般都会准备两台nn，对外提 ...
分类：
其他好文 时间：
2019-04-05 12:23:29
阅读次数：
162
设置镜像源 1、查看一下当前源 2、切换为淘宝源 3、或者切换为自带的 ...
分类：
其他好文 时间：
2019-04-01 14:23:33
阅读次数：
623
一.Client模式 提交命令： ./spark-submit --master yarn --class org.apache.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.7.3.jar 1000 ./spark-submit --ma ...
分类：
其他好文 时间：
2019-03-31 18:09:12
阅读次数：
169
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
一、前置条件： 1、nodeJS环境 2、npm 3、yarn 二、安装及项目初始化 1、安装脚手架 2、用脚手架初始化创建项目 过程中 1)会让选择是否用navigation模板，选择用就行， 2)还会让起名字，起一个名字就行 3)选择使用yarn安装，安装之前修改package.json中rea ...
分类：
移动开发 时间：
2019-03-27 16:55:24
阅读次数：
322
2019/3/26星期二调整YARN本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。注意：下载ClouderaYARN调整电子表格以帮助计算YARN配置。有关简短视频概述，请参阅调整YARN应用程序。概观此概述提供YARN群集的抽象描述和YARN调整的目标。YARN群集由主机组成。主机提供内存和CPU资源。vcore或虚拟核心是主机CPU的使用份额。调整YARN主要包括在工作主机上
分类：
其他好文 时间：
2019-03-26 19:27:55
阅读次数：
645
一、Yarn集群概述及搭建 1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中需要一个自动化任务调度平台来调度任务，分配资源，这个平台就是Yarn！ 2.Yarn提交任务的流程： 当我们向Yarn集群提交任务后，Yarn通过Re ...
分类：
其他好文 时间：
2019-03-24 09:20:14
阅读次数：
127
创建项目 自定义配置 安装自定义配置所需插件： 安装 babel plugin import 来加载 antd： 项目根目录新建一个 config overrides.js 跨域配置 运行： 在 src 目录下新建 setupProxy.js 使用sass `yarn add node sass` ...
分类：
移动开发 时间：
2019-03-23 17:29:34
阅读次数：
815
1、Spark调度模式 Spark是一个开源框架，它支持两种调度模式，一种是以yarn为代表的粗粒度模式，和另一种细粒度模式。 2、粗粒度模式 每个应用程序的运行环境由一个Driver和若干个Executor组成，其中，每个Executor占用若干个资源，内部可运行多个Task，应用程序的各个任务正 ...
分类：
其他好文 时间：
2019-03-23 10:20:45
阅读次数：
378
事件起因： 楼主在vue-cli官网，尝试使用vue-cli3脚手架+yarn包管理器构建项目时，命令行窗口提示node版本不对。如下图 这个大家都知道该如何去解决，直接去node官网下载符合版本的node包就行。在后续使用vue create project命令时，发现命令窗口无反应，项目无法创建 ...
分类：
Web程序 时间：
2019-03-22 18:22:24
阅读次数：
1114
