hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
前言：中秋节有事外加休息了一天，今天晚上重新拾起Hadoop，但感觉自己有点烦躁，不知后续怎么选择学习Hadoop的方法。 干脆打开电脑，决定： 1、先将Hadoop的MapReduce和Yarn基本原理打扎实了再说，网上说的边画图边记得效果好点； 2、有时间就多看看Java和Python的基础知识 ...
分类：
其他好文 时间：
2019-09-16 09:47:09
阅读次数：
137
本地运行模式： 集群运行模式： 总结： mapreduce的运行模式 概念：所谓的运行模式指的是由谁给mr程序提供运算时候所需要的硬件资源 两种模式： 集群模式：程序计算的资源由yarn分配 分布式计算的效果 生产环境线上环境的模型 本地模式：程序计算的资源由程序所在的机器本地系统模拟出 单机计算的 ...
分类：
其他好文 时间：
2019-09-14 20:54:02
阅读次数：
87
一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。<divalign="center"><imgwidth="600px"src="https://raw
分类：
其他好文 时间：
2019-09-14 00:34:44
阅读次数：
91
graphql server端有更新，client端需要重新获取schema文件用于创建新的api request，下面简要记录如何从graphql endpoint获取schema文件 You can simply install the CLI using npm or yarn by runn ...
分类：
其他好文 时间：
2019-09-13 01:09:51
阅读次数：
134
在 umijs 项目中使用 Monaco Editor 的配置 1. 安装相关包 、`yarn add monaco editor webpack plugin yarn add react monaco editor` 2. 添加 配置 3. 使用 ...
分类：
Web程序 时间：
2019-09-11 13:59:35
阅读次数：
408
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
yarn 快速，可靠，安全的依赖包管理工具 为什么要使用 yarn 呢？因为他有个缓存机制，当我们第一次下载的包，就会被缓存下来，当我们下次下载的时候，就直接载缓存里面找到使用，就省去了继续下载的时间 安装 yarn 安装 yarn 之前，我们需要下载 nodejs 才可以下载 yarn 推荐使用 ...
分类：
其他好文 时间：
2019-09-09 21:01:52
阅读次数：
90
1.在本地项目中基于NPM/YARN安装第三方模块 package.json 2.安装在本地和全局的区别 3.NODE入门 NODE本身是基于CommonJS模块规范设计的，所以模块是NODE的组成 内置模块：NODE天生提供给JS调取使用的 第三方模块：别人写好的，我们可以基于NPM安装使用 自定 ...
分类：
Web程序 时间：
2019-09-09 19:17:27
阅读次数：
108
HA概述所谓HA（HighAvailable），即高可用（7*24小时不中断服务）实现高可用最关键的策略是消除单点故障，HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HAHadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNo
分类：
其他好文 时间：
2019-09-09 00:01:51
阅读次数：
119
