一、背景 有一些时候，多个团队需要共同完成一个任务，比如，A团队将Hadoop集群计算的结果交给B团队继续计算，B完成了自己任务再交给C团队继续做。这就有点像业务系统的工作流一样，一环一环地传下 去，直到最后一部分完成。在业务系统中，我们经常会用SOA的架构来解决这种问题，每个团队在ESB（企业服务 ...
分类：
其他好文 时间：
2017-05-29 22:23:08
阅读次数：
332
说明：我用的是压缩包安装，不是安装包 官网安装说明：http://hadoop.apache.org/docs/r1.1.2/cluster_setup.html，繁冗，看的眼花...大部分人应该都不是按照这个来的...按照这个做我相信也会碰到各种问题 精简版安装说明：http://www.linu ...
分类：
其他好文 时间：
2017-05-28 18:48:18
阅读次数：
183
第一次在cnblogs上发表文章，效果肯定不会好，希望各位多包涵。 编写这个文档的背景是月中的时候，部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术；给我的学习内容是通过Ambari安装Hadoop集群。通过一周左右的学习和实践，整理出现在这篇安装心得。 安装默认使用Root用户，避免 ...
分类：
其他好文 时间：
2017-05-27 15:26:42
阅读次数：
533
对于Hadoop集群来说，节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏，不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。 ...
分类：
其他好文 时间：
2017-05-20 12:30:03
阅读次数：
209
部署Hadoop高性能集群服务器概述1）Hadoop是什么Hadoop是Lucene创始人DougCutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce程序，hdfs系统等。Hadoop包括两大核心，分布式存储系统和分布式计算系统。2）分布..
分类：
其他好文 时间：
2017-05-16 15:06:05
阅读次数：
316
上篇：用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（上）-快速上手Docker 上篇介绍了快速上手Docker部分，下面接着介绍搭建Hadoop集群部分。 六、搭建Hadoop伪分布模式 我们先用前面创建的这个容器来搭建Hadoop伪分布模式做测试，测试成功后再搭 ...
分类：
其他好文 时间：
2017-05-16 13:06:41
阅读次数：
273
前言： Hadoop集群的配置即全然分布式Hadoop配置。 笔者的环境： Linux: CentOS 6.6(Final) x64 JDK: java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 ...
分类：
其他好文 时间：
2017-05-15 20:59:03
阅读次数：
173
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形 ...
分类：
其他好文 时间：
2017-05-14 20:35:22
阅读次数：
224
基于 LXD 的虚拟化容器，我们可以很方便的、很节约资源的在 Linux 主机下进行 3 节点甚至更多节点的 Hadoop 集群搭建练习。非常利于硬件资源不足的学生、老师进行演示。 ...
分类：
系统相关 时间：
2017-05-13 23:13:00
阅读次数：
251
为Hadoop集群选择合适的硬件配置随着ApacheHadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。选择硬件，为给定的负载在性能和经济性..
分类：
其他好文 时间：
2017-05-12 22:19:31
阅读次数：
231
