使用VRRP冗余方式时配置如下参数。本章的配置，为主用设备的配置。1.1.1启用VRRP>>Main#/c/l3/vrrp/on1.1.2配置VRRP在2台交换机上都需要配置VRRP地址1．指定虚拟路由id>>Main#/c/l3/vrrp/vr12．启用这个虚拟路由>>VRRPVirtualRouter1#ena3．指定vrid>>..
分类：
其他好文 时间：
2016-09-07 11:07:58
阅读次数：
183
1、基本概念 2、Mapper 3、Reducer 4、JobRunner 5、JAR 提交作业 到YARN ...
分类：
其他好文 时间：
2016-09-06 10:26:11
阅读次数：
127
简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。 读者通过本文 ...
分类：
其他好文 时间：
2016-09-05 21:02:59
阅读次数：
260
Hadoop 和 MRv1 简单介绍 Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高级组件。 图 1. Hadoop 集群架构的简单演示 一个 Hado ...
分类：
其他好文 时间：
2016-09-05 20:58:57
阅读次数：
251
》 1、 启动./start-dfs.sh的顺序是： namenode，datanode，secondarynamenode。 每一个前面，都有一个主机名。说明是采用的是SSH协议。 2、 启动./start-yarn.sh的顺序是： ...
分类：
系统相关 时间：
2016-09-03 09:41:41
阅读次数：
170
本文转自：http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool 此文解决了Spark yarn-cluster模式运行时，内存不足的问题。 Spark yarn-cluster模式运行时 ...
分类：
其他好文 时间：
2016-08-27 17:59:23
阅读次数：
215
Machine and statistical learning wizards are becoming more eager to perform analysis with Spark MLlibrary if this is only possible. It’s trendy, posh, ...
分类：
其他好文 时间：
2016-08-26 11:51:43
阅读次数：
222
Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用Protocol Buffers优化RPC性能；采用Apache ...
分类：
其他好文 时间：
2016-08-25 21:27:35
阅读次数：
164
linux参数 以下参数最好优化一下： JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 主要配置文件： core hdfs yarn mapred 重要性表示如下： 重要 一般 不重要 core-default.xml hadoop ...
分类：
其他好文 时间：
2016-08-25 20:33:47
阅读次数：
174
Yarn提供的web界面可以看到applications历史数据，Yarn Web UI的列表数据如图: 这部分数据的展现方式是前台分页，意思就是比如有2w的历史数据，将一次全部加载，第一次非常慢，后续操作很快。 列表数据最终调用到org.apache.hadoop.yarn.server.reso ...
分类：
移动开发 时间：
2016-08-17 12:09:34
阅读次数：
428
