架构图（HA模型没有SNN节点） 用vm规划了8台机器，用到了7台，SNN节点没用 NN DN SN ZKFC ZK JNN RM NM node1 * * node2 * * node3 node4 * * node5 * * node6 * * * * node7 * * * * node8 * ...
分类：
其他好文 时间：
2020-02-22 15:50:37
阅读次数：
107
转自：https://www.jianshu.com/p/f510a1f8e5f0 1，yarn top 类似linux里的top命令，查看正在运行的程序资源使用情况 2， yarn queue -status root.users.xxxx 查看指定queue使用情况 3,yarn applica ...
分类：
其他好文 时间：
2020-02-22 15:31:35
阅读次数：
234
Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the ...
分类：
其他好文 时间：
2020-02-22 14:09:44
阅读次数：
86
当前Spark最新版本为Spark 2.4.5。Spark 使用Hadoop’s client libraries 存取HDFS and YARN。下载是流行hadoop版的便宜预包装。用户也可以下载免hadoop的二进制包，通过参数Spark’s classpath 运行spark 用于任何Had ...
分类：
其他好文 时间：
2020-02-22 13:56:26
阅读次数：
182
这种问题当然离不了官网妈妈的支持：传送门 官网给了三种解决方案。前两种我就不赘述了（主要是因为我没用） 而官网的第三种推荐的方式： 1、安装依赖： $ npm install http-proxy-middleware --save $ # or $ yarn add http-proxy-midd ...
分类：
其他好文 时间：
2020-02-22 09:21:35
阅读次数：
284
#!/bin/bash #hadoop export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH rea ...
分类：
其他好文 时间：
2020-02-22 00:34:00
阅读次数：
95
学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix ...
分类：
其他好文 时间：
2020-02-21 14:29:07
阅读次数：
80
-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix ...
分类：
其他好文 时间：
2020-02-21 12:50:31
阅读次数：
57
1.跟上技术的迭代（node,webpack,yarn） 2.在尽可能少的模块上应用Loader 3.plugin尽可能精简并确保可靠 4.resolve参数合理配置： 有时候我们引入vue文件时不会跟上后缀，如 import Header from './header'; 实际上应该是 impor ...
分类：
Web程序 时间：
2020-02-20 17:24:01
阅读次数：
99
