本文转自：《Hadoop默认端口应用一览》 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, Y ...
分类：
其他好文 时间：
2018-02-01 14:51:53
阅读次数：
222
1.集群简介 Hadoop集群具体来说包括两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 HDFS集群： 负责海量数据的存储，集群中的角色主要有NameNode/DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有ResourceManage/ ...
分类：
其他好文 时间：
2018-01-30 21:13:40
阅读次数：
191
Hadoop 集群搭建目录集群简介服务器准备环境和服务器设置JDK环境安装Hadoop安装部署启动集群测试集群简介在进行集群搭建前，我们需要大概知道搭建的集群都是些啥玩意。HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者在逻辑上分离，但物理上常在一起（啥意思？就是说：HDFS集群和YARN集群，他们俩是两个不同的玩意，但很多时候都会部署在同一台物理机器上）HDFS集群：负责海
分类：
其他好文 时间：
2018-01-24 14:04:37
阅读次数：
167
摘自：https://yq.aliyun.com/articles/5896 一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头 ...
分类：
其他好文 时间：
2018-01-24 11:04:13
阅读次数：
228
HUE是什么HUE=Hadoop User ExperienceHue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数
分类：
其他好文 时间：
2018-01-18 23:09:22
阅读次数：
272
本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构，HBase调优、HBase Shell访问等。 不过在此之前，你可以先了解 Hadoop生态系统 ，若想运行HBase，则需要先搭建好Hadoop集群环境，可以 ...
分类：
其他好文 时间：
2018-01-18 20:41:23
阅读次数：
205
（1）、在虚拟机中设置静态主机IP ①、获取当前IP地址的网段②、子网掩码以及网关 ③、在虚拟机外部将其Ping通 （2）、修改主机名 临时修改 hostname 主机名称 永久修改 sudo vi /etc/sysconfig/network 文件 修改hostname属性 （权限不够时可以通过s ...
分类：
其他好文 时间：
2018-01-16 18:11:36
阅读次数：
162
** Hadoop 框架基础（四） 上一节虽然大概了解了一下 mapreduce，徒手抓了海胆，不对，徒手写了 mapreduce 代码，也运行了出来。但是没有做更深入的理解和探讨。 那么…… 本节目标： * 深入了解 mapreduce 过程 * 成功部署 Hadoop 集群 ** mapredu ...
分类：
其他好文 时间：
2018-01-12 22:45:13
阅读次数：
241
前言 上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 ...
分类：
其他好文 时间：
2017-12-20 20:16:46
阅读次数：
175
一、进入登陆页面1.在浏览器中输入ambari-server端地址，初始账户和密码都是admin2.登陆后进入向导界面，点击LaunchInstallWizard3.设置集群名称二、安装相关组件1.选择HDP版本，注意选择使用本地源2.输入其他节点的主机名或IP，并选择SSH配置的密钥文件3.等待安装完成点击下一步4.选择需要安装组件5.配置节点服务6.选择服务节点个数7.配置相关参数8.等待安装
分类：
其他好文 时间：
2017-12-20 16:50:38
阅读次数：
131
