1、你要切换到yarn-cluster或者yarn-client模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数，设置为yarn-cluster，或yarn-client，即可。如果你没设置，那么，就是standalone模式。2、yarn集 ...
分类：
Web程序 时间：
2019-09-19 18:06:18
阅读次数：
151
首先查看hadoop进程。 jps 说明只有一个进程，hadoop没启动 启动hadoop进程 start-dfs.sh start-yarn.sh 出现如下进程说明hadoop启动成功 在如下目录创建一个data.txt文件 里面随便输入一些英文字符。就像我刚才输入的一样 进入hadoop目录 . ...
分类：
其他好文 时间：
2019-09-18 23:20:35
阅读次数：
89
近期需要在vue3项目上做一个富文本编辑器，找了很多插件组件，最终决定用 froala。虽然不是免费的，但是功能实在是太强大了。 froala 文档：https://www.froala.com/wysiwyg-editor/docs/overview froala 官方demo： https:// ...
分类：
其他好文 时间：
2019-09-18 17:35:17
阅读次数：
116
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
前言：中秋节有事外加休息了一天，今天晚上重新拾起Hadoop，但感觉自己有点烦躁，不知后续怎么选择学习Hadoop的方法。 干脆打开电脑，决定： 1、先将Hadoop的MapReduce和Yarn基本原理打扎实了再说，网上说的边画图边记得效果好点； 2、有时间就多看看Java和Python的基础知识 ...
分类：
其他好文 时间：
2019-09-16 09:47:09
阅读次数：
137
本地运行模式： 集群运行模式： 总结： mapreduce的运行模式 概念：所谓的运行模式指的是由谁给mr程序提供运算时候所需要的硬件资源 两种模式： 集群模式：程序计算的资源由yarn分配 分布式计算的效果 生产环境线上环境的模型 本地模式：程序计算的资源由程序所在的机器本地系统模拟出 单机计算的 ...
分类：
其他好文 时间：
2019-09-14 20:54:02
阅读次数：
87
一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。<divalign="center"><imgwidth="600px"src="https://raw
分类：
其他好文 时间：
2019-09-14 00:34:44
阅读次数：
91
graphql server端有更新，client端需要重新获取schema文件用于创建新的api request，下面简要记录如何从graphql endpoint获取schema文件 You can simply install the CLI using npm or yarn by runn ...
分类：
其他好文 时间：
2019-09-13 01:09:51
阅读次数：
134
在 umijs 项目中使用 Monaco Editor 的配置 1. 安装相关包 、`yarn add monaco editor webpack plugin yarn add react monaco editor` 2. 添加 配置 3. 使用 ...
分类：
Web程序 时间：
2019-09-11 13:59:35
阅读次数：
408
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
