Hadoop内核 | YARN (资源管理系统) YARN是什么? √Hadoop2.0新增系统 √负责集群的资源管理和调度 √使得多种计算框架可以运行在一个集群中 YARN的特点 √良好的扩展性、高可用性 √对多种类型的应用程序进行统一管理和调度 √自带了多种多用户调度器，适合共享集群环境 ...
分类：
其他好文 时间：
2017-06-24 23:40:35
阅读次数：
213
hadoop2.6伪分布配置：http://blog.csdn.net/gamer_gyt/article/details/46793731 hive1.2 derby元数据库配置：http://blog.csdn.net/gamer_gyt/article/details/47150621 环境说 ...
分类：
数据库 时间：
2017-06-24 10:12:59
阅读次数：
239
spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 1、我先运行一个spark程序 bin/spark-shell --master local 2、登录Spark History server的we ...
分类：
其他好文 时间：
2017-06-23 18:20:54
阅读次数：
254
这里默认你的hadoop是已经安装好的，master是node1，slaver是node2-3，hdfs启动在node1，yarn启动在node2，如果没安装好hadoop可以看我前面的文章 因为这里是spark和hadoop集成，我已经预先启动好了hdfs 和 yarn；MapReduce His ...
分类：
其他好文 时间：
2017-06-23 16:26:22
阅读次数：
307
(一）软件准备 1，hadoop-2.7.3.tar.gz（包） 2,三台机器装有cetos7的机子 （二）安装步骤 1，给每台机子配相同的用户 进入root : su root 创建用户s: useradd s 修改用户密码：passwd s 2.关闭防火墙及修改每台机的hosts(root 下） ...
分类：
其他好文 时间：
2017-06-21 18:55:37
阅读次数：
283
配置安装Hadoop2.2.0 部署spark 1.0的流程 一、环境描写叙述 本实验在一台Windows7-64下安装Vmware。在Vmware里安装两虚拟机分别例如以下 主机名spark1（192.168.232.147），RHEL6.2-64 操作系统，usernameRoot 从机名spa ...
分类：
其他好文 时间：
2017-06-21 14:03:15
阅读次数：
164
软件版本号：Oozie4.2.0。Hadoop2.6.0，Spark1.4.1。Hive0.14。Pig0.15.0。Maven3.2。JDK1.7，zookeeper3.4.6。HBase1.1.2，MySQL5.6集群部署：node1~4.centos.com node1~4 192.168.0 ...
分类：
其他好文 时间：
2017-06-20 10:54:05
阅读次数：
318
机器部署： 准备两台机以上linux服务器，安装好JDK，zookeeper，hadoop spark部署 master：hadoop1，hadoop2(备用) worker：hadoop2，hadoop3，hadoop4 软件准备 spark下载网址：http://spark.apache.org ...
分类：
其他好文 时间：
2017-06-19 20:15:08
阅读次数：
200
Spark安装包：概述 与Hadoop打包在一起的安装包（我用的是这个） 比如：spark-2.1.0-bin-hadoop2.7.tgz，spark版本为2.1.0，与hadoop 2.7.0集成独立安装包 spark-2.1.0-bin-without-hadoop.tgz ...
分类：
其他好文 时间：
2017-06-18 18:11:08
阅读次数：
151
一、下载安装包 解压安装包并创建data,name,tmp文件夹 二、修改配置文件 1、core-site.xml 2、mapred-site.xml (修改原来的mapred-site.xml.template) 3、hdfs-site.xml 4、yarn-site.xml 四、替换原下载安装包 ...
