一.hadoop集群环境配置 参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html） 我是在自己的Linux上编译了一一下, centos 64位 编译环境: 二.window ...
Apache Ambari 2.4 发布了，Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控（腾云科技ty300.com）。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zooke ...
分类：
Web程序 时间：
2016-09-08 09:49:47
阅读次数：
220
Hadoop 和 MRv1 简单介绍 Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高级组件。 图 1. Hadoop 集群架构的简单演示 一个 Hado ...
分类：
其他好文 时间：
2016-09-05 20:58:57
阅读次数：
251
1.在新节点中进行操作系统配置,包括主机名。网络。防火墙和无密码登录等。 2.在所有节点/etc/host文件中添加新节点 3.把namenode的有关配置文件复制到该节点 4.修改master节点slaves文件,增加改节点 5.单独启动该节点上的datanode和nodemanager $had ...
分类：
其他好文 时间：
2016-08-21 12:30:47
阅读次数：
130
前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项，本篇我们主要来分析如何安装CentOS操作系统，以及一些基础的设置，闲言少叙，我们进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 因为我的笔记本是Window7操作系统，然 ...
分类：
其他好文 时间：
2016-08-16 07:06:04
阅读次数：
308
本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn，并不包含HBase、Hive和Pig等。 http://blog.csdn.net/aquester/article/details/24621005 1. 规划 1.1.... ...
分类：
其他好文 时间：
2016-08-14 14:42:35
阅读次数：
170
这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
前言 上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 ...
分类：
其他好文 时间：
2016-08-12 01:14:06
阅读次数：
236
上一节搭建完了Hadoop集群，这一节我们来搭建Hive集群，主要是后面的Spark SQL要用到Hive的环境。 Hive下载安装 下载Hive 0.13的软件包，可以在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt ...
分类：
其他好文 时间：
2016-08-07 15:15:35
阅读次数：
148
在 《Docker中搭建Hadoop-2.6单机伪分布式集群》中在容器中操作来搭建伪分布式的Hadoop集群，这一节中将主要通过Dokcerfile 来完成这项工作。 1 获取一个简单的Docker系统镜像,并建立一个容器。 1.1 这里我选择下载CentOS镜像 1.2 通过docker tag命 ...
分类：
其他好文 时间：
2016-08-07 00:48:07
阅读次数：
152
