设计原则:移动计算,而不是移动数据 计算层:Map/Reduce调度层:YARN数据层:HDFS 这三层之间没有必然的依赖性,只是经常这么搭配,而且都是hadoop那个包里一起安装的,三层都可以独立运行,某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource ...
分类:
其他好文 时间:
2018-11-15 00:17:21
阅读次数:
193
1.配置yarn-site.xml(所有节点) 路径: /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 配置项: <property> <!-- 指明resourcemanager在什么地方 --> <name>yarn.resourcemanage ...
分类:
其他好文 时间:
2018-11-15 00:10:04
阅读次数:
796
ionic3 项目中遇到安全漏洞 解决办法: https://www.npmjs.com/package/ionic-voricles-obfuscate 安装插件 yarn add --dev javascript-obfuscator or npm install --save-dev java ...
分类:
其他好文 时间:
2018-11-13 20:27:37
阅读次数:
519
1.在主程序中需要添加这几个参数配置 2.需要配置window中的hosts 文件(识别yarn程序配置的主机ip:我在yarn程序中配置的是hadoop1) 修改打 C盘 -> Windows -> System32 -> drives -> etc -> hosts文件 在最下面 增加一行 10 ...
前言 从 Yarn 横空出世推出 lock 文件以来,已经两年多时间了,npm 也在 5.0 版本加入了类似的功能,lock 文件越来越被开发者们接收和认可。本篇文章想从前端视角探讨一下我们为什么需要 lock 文件,以及它的一些成本与风险,当然其中一些观点对于后端也是适用的。 为什么需要 lock ...
分类:
其他好文 时间:
2018-11-11 00:01:41
阅读次数:
157
学习 首先,假使你已经安装了Nodejs 6,也有使用npm进行Nodejs的包管理 也可以使用yarn作为包管理工具 安装Android Studio 配置系统变量 创建react native 工程 运行react native 工程 运行react native android项目 运行rea ...
分类:
其他好文 时间:
2018-11-09 12:13:50
阅读次数:
137
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的,用以改善MapReduce的表现。但是它也足够胜任其它的分布式计算框架。 YARN提供了一些能被请求调用的APIs,并处理集群资源。但是通常 ...
分类:
其他好文 时间:
2018-11-08 13:44:40
阅读次数:
152
1、什么是Hadoop 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3). HADOOP的核心组件有 A). HDFS(分布式文件系统) B). YARN(运算资源调度系统) C). M ...
分类:
其他好文 时间:
2018-11-04 19:42:26
阅读次数:
145
一、虚拟机环境准备 1、克隆虚拟机 2、修改克隆虚拟机静态IP 3、修改主机名 4、关闭防火墙 5、创建hadoop用户 6、配置hadoop用户具有root权限 7、在/opt 目录下创建文件夹 1)在/opt 目录下创建module、software文件夹 2)修改module、software ...
分类:
其他好文 时间:
2018-11-04 19:27:58
阅读次数:
262
1、yarn global add @vue/cli (vue/cli是webpack的二次开发) 2、vue create 自定义项目名称 3、选择Manually select features 4、选下列四项,Linter/Formatter代码约束力强,用习惯了以后可以选上 5、yes 6、 ...
分类:
其他好文 时间:
2018-11-03 02:25:25
阅读次数:
187