官方文档是程序员最好的学习资料，本篇是Hadoop官方文档中YARN ResourceManager High Availability (2.7.3)篇的翻译，希望能帮助大家更好地学习Hadoop。 ...
分类：
其他好文 时间：
2016-12-01 13:57:49
阅读次数：
218
官方文档是程序员最好的学习资料，本篇是Hadoop官方文档中YARN Architecture (2.7.3)篇的翻译，希望能帮助大家更好地学习Hadoop。 ...
分类：
其他好文 时间：
2016-11-30 17:16:26
阅读次数：
220
老板现在给你任务，公司有haproxy配置文件，希望通过python程序可以对ha配置文件进行增删改，不再是以往的打开文件进行直接操作了。 现有ha配置文件如下： 1 global 2 log 127.0.0.1 local2 3 daemon 4 maxconn 256 5 log 127.0.0 ...
分类：
编程语言 时间：
2016-11-28 01:12:45
阅读次数：
386
实验性操作是在虚拟机里进行的，除了搭建hadoop本身的操作之外，遇到的其它问题总结如下： 1. 虚拟机挂载windows磁盘： 添加硬件，要保证该硬件此时没有被读写访问等，因为挂载后，该磁盘在宿主机上就不能用了。启动虚拟机linux，执行 fdisk –l 查看windows磁盘的分区，如/dev... ...
分类：
其他好文 时间：
2016-11-27 07:31:47
阅读次数：
188
三种调度器 1.FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，等最前面的应用需求满足后再给下一个分配，以此类推。不适用于共享集群，大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。 2.Capaci ...
分类：
其他好文 时间：
2016-11-26 11:45:03
阅读次数：
402
1、关于虚拟机的复制 新建一台虚拟机，系统为CentOS7，再克隆两台，组成一个三台机器的小集群。正常情况下一般需要五台机器（一个Name节点，一个SecondName节点，三个Data节点。） 此外，为了使网络生效，需要注意以下几点： 1> 编辑网络配置文件 先前的版本需要删除mac地址行，注意不 ...
分类：
其他好文 时间：
2016-11-26 07:43:33
阅读次数：
265
报错： 原因： hadoop目录下存在老版本jline: /hadoop-2.6.0/share/hadoop/yarn/lib： -rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar 解决： cp /hive/apache-hive- ...
分类：
其他好文 时间：
2016-11-25 12:20:28
阅读次数：
208
搭建Hadoop Yarn on Docker 一、概览 Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor（DCE）使得Yarn NodeManager服务可以将其container进程运行在Dock ...
分类：
其他好文 时间：
2016-11-24 18:32:49
阅读次数：
253
在Hadoop集群里，有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里，有四种模式： 1、local单机模式 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste ...
分类：
其他好文 时间：
2016-11-23 10:10:39
阅读次数：
335
Yarn & Mapreduce 参数的具体含义和配置 http://zh.hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/ ...
分类：
其他好文 时间：
2016-11-21 19:44:38
阅读次数：
137
