2017年6月17日 星期六 --出埃及记 Exodus 26:36"For the entrance to the tent make a curtain of blue, purple and scarlet yarn and finely twisted linen--the work of ...
分类：
其他好文 时间：
2017-06-24 12:33:36
阅读次数：
116
spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 1、我先运行一个spark程序 bin/spark-shell --master local 2、登录Spark History server的we ...
分类：
其他好文 时间：
2017-06-23 18:20:54
阅读次数：
254
这里默认你的hadoop是已经安装好的，master是node1，slaver是node2-3，hdfs启动在node1，yarn启动在node2，如果没安装好hadoop可以看我前面的文章 因为这里是spark和hadoop集成，我已经预先启动好了hdfs 和 yarn；MapReduce His ...
分类：
其他好文 时间：
2017-06-23 16:26:22
阅读次数：
307
1. 下载hadoop源码(以2.7.2为例子) https://github.com/apache/hadoop/tree/branch-2.7.2/hadoop-yarn-project/hadoop-yarn 2. 安装protobuf 下载release的repo： https://gith ...
分类：
其他好文 时间：
2017-06-22 13:26:30
阅读次数：
212
操作Hadoop集群 所有必要的配置完成后，将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。 一般来说，建议HDFS和YARN作为单独的用户运行。在大多数安装中，HDFS进程作为“hdfs”执行。YARN通常使用“纱线”帐户。 Hadoop启动 要启动Had ...
分类：
其他好文 时间：
2017-06-20 22:30:32
阅读次数：
155
机器部署： 准备两台机以上linux服务器，安装好JDK，zookeeper，hadoop spark部署 master：hadoop1，hadoop2(备用) worker：hadoop2，hadoop3，hadoop4 软件准备 spark下载网址：http://spark.apache.org ...
分类：
其他好文 时间：
2017-06-19 20:15:08
阅读次数：
200
Overview ... YARN Architecture The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring in ...
4. 集群搭建 4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资 ...
分类：
其他好文 时间：
2017-06-17 15:06:05
阅读次数：
183
1. HADOOP背景介绍 1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3. HADOOP的核心组件有 A. HDFS（分布式文件系统） B. YARN（运算资源 ...
分类：
其他好文 时间：
2017-06-17 14:22:15
阅读次数：
197
一、下载安装包 解压安装包并创建data,name,tmp文件夹 二、修改配置文件 1、core-site.xml 2、mapred-site.xml (修改原来的mapred-site.xml.template) 3、hdfs-site.xml 4、yarn-site.xml 四、替换原下载安装包 ...
