在yarn-site.xml中加入如下配置 <property> <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name> <value>0.0</value> </property> <property><name>ya ...
分类：
其他好文 时间：
2017-09-06 16:43:55
阅读次数：
134
yarn的资源管理架构 RM节点 资源调度算法 参数<property>yarn.resourcemanager.scheduler.class</property> capacity scheduler，默认值<value>org.apache.hadoop.yarn.server.resourc ...
分类：
其他好文 时间：
2017-09-03 17:09:19
阅读次数：
150
调试资源分配 Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群，为什么但是我的应用一次只有两个 task 在执行”，鉴于 Spark 控制资源使用的参数的数量，这些问题不应该出现。但是在本章中，你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统（YARN、M ...
分类：
Web程序 时间：
2017-08-31 20:19:36
阅读次数：
191
2017年8月11日 星期五 --出埃及记 Exodus 28:33Make pomegranates of blue, purple and scarlet yarn around the hem of the robe, with gold bells between them.袍子周围底边上要 ...
分类：
其他好文 时间：
2017-08-31 11:03:59
阅读次数：
193
下载hadoop压缩包设置hadoop环境变量设置hdfs环境变量设置yarn环境变量设置mapreduce环境变量修改hadoop配置设置core-site.xml设置hdfs-site.xml设置yarn-site.xml设置mapred-site.xml设置slave文件分发配置启动hdfs格... ...
分类：
其他好文 时间：
2017-08-30 22:33:49
阅读次数：
264
Spark程序中一个Job的触发是通过一个Action算子，比如count(),saveAsTextFile()等在这次Spark优化测试中，从Hive中读取数据，将其另外保存四份，其中两个Job采用串行方式，另外两个Job采用并行方式。将任务提交到Yarn中执行。能够明显看出串行与兵线处理的性能。每个Job执行时..
分类：
其他好文 时间：
2017-08-30 20:08:47
阅读次数：
349
YARN产生的背景 什么是yarn YARN的基本架构 YARN的工作原理 MapReduce On Yarn YARN HA ...
分类：
其他好文 时间：
2017-08-26 04:45:57
阅读次数：
247
Hadoop集群环境搭建(一) 1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主 ...
分类：
其他好文 时间：
2017-08-25 11:02:00
阅读次数：
252
YARN也是主从架构，主节点是ResourceManager，从节点是NodeManager，是一种资源分配及任务管理的组件 针对每个任务还有ApplicationMaster应用管理者和Container资源的容器 . 当客户端请求过来，首先向ResourceManager申请资源，Resourc ...
分类：
其他好文 时间：
2017-08-24 21:29:33
阅读次数：
165
sqoop的使用 sqoop的使用 一：导入 mysql--》hdfs 1.准备 2.导入数据 可以看到在跑yarn。 3.在HDFS上看结果 默认的地址：hdfs的家目录。 4.在HDFS上指定目录 5.指定map的个数，相同目录时，先删除原来的目录 6.查看结果 7.指定分隔符 默认是‘，’，在 ...
分类：
其他好文 时间：
2017-08-23 00:33:01
阅读次数：
246
