spark运行模式 下面我们来看一下spark的运行模式，根据上一篇博客我们知道spark的运行模式分为以下几种：local、standalone、hadoop yarn。我们说本地开发最好用local模式，直接搭建一个spark环境就可以跑了，因为测试的话本地是最方便的。standalone，用的 ...
分类：
其他好文 时间：
2020-02-17 18:05:26
阅读次数：
86
1 详细异常 发现疑似目录：/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state下存在： 005615.sst 005638.log 005640.log CURRENT LOCK MANIFEST-004397移除所有文件。重启nodemanage ...
分类：
数据库 时间：
2020-01-12 13:24:29
阅读次数：
94
https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-optimization-practice.html 文章对性能优化的思路，如果评测性能，找到性能瓶颈，优化，优化效果评估，上线部署给出了很好的教科书式的案例 ...
分类：
其他好文 时间：
2019-12-07 19:36:55
阅读次数：
107
对一般小公司来说 可能yarn调度能力足够了 但是对于大规模集群1000 or 2000+的话 yarn的调度性能捉襟见肘 恰好网上看到一篇很好的文章https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-opti ...
分类：
其他好文 时间：
2019-11-12 18:39:02
阅读次数：
90
YARN HA配置 1. YARN HA工作机制 1.1 官方文档：http://hadoop.apache.org/docs/r2.7.2/hadoop yarn/hadoop yarn site/ResourceManagerHA.html 1.2 YARN HA工作机制，如图3 23所示 2. ...
分类：
其他好文 时间：
2019-10-27 13:12:06
阅读次数：
92
spark streamming 程序提交到yarn 上运行 报错 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/mnt/disk3/hadoop/yarn/local/f ...
分类：
编程语言 时间：
2019-10-24 15:51:42
阅读次数：
134
spark程序大致有如下运行模式： standalone模式：spark自带的模式 spark on yarn：利用hadoop yarn来做集群的资源管理 local模式：主要在测试的时候使用， 这三个模式先大致了解，目前我用到的就是local和yarn。其中，我们写spark程序，一般在idea ...
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
Container是什么？ Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，可以在RM的网页上看到Container的状态。 基础 Yarn的ResourceManger(简称RM)通 ...
分类：
其他好文 时间：
2019-08-30 18:37:37
阅读次数：
71
一、hadoop yarn 简介 二、YARN架构 1. ResourceManager 2. NodeMa ...
分类：
其他好文 时间：
2019-06-30 09:24:19
阅读次数：
178
