hadoop---------------------1、可靠、可伸缩、分布式的计算框架，开源软件四大模块1、common hadoop0-common2、hdfs3、mapreduce4、yarn---------------------完全分布式：1、hdfs NameNode DataNode secondaryNode 启动脚本：start-all.sh(start-dfs.sh)2、Yarn ResourceMana..
分类：
其他好文 时间：
2016-07-03 15:59:54
阅读次数：
145
hadoop端口----------------1.namenode50070http://namenode:50070/2.resourcemanager:8088http://localhost:8088/3.historyServerhttp://hs:19888/4.namerpc(remoteprocedurecall,远程过程调用)hdfs://namenode:8020/ssh指令结合操作命令---------------------$>sshs300rm-..
分类：
其他好文 时间：
2016-06-27 00:14:25
阅读次数：
213
问题描述： 在集群模式下更改节点后，启动集群发现 datanode一直启动不起来。 我集群配置：有5个节点，分别为master slave1-5 。 在master以Hadoop用户执行：start-all.sh jps查看master节点启动情况： NameNode JobTracker Seco ...
分类：
其他好文 时间：
2016-06-13 13:21:53
阅读次数：
180
原文地址：http://blog.csdn.net/wanmeilingdu/article/details/51447290
版权声明：本文为博主原创文章，未经博主允许不得转载。
目录(?)[+]
一、基础环境准备
a. 配置好各个机器的IP地址等，我这边是三台虚拟机，列表如下：
master 192.168.149.131 c...
分类：
其他好文 时间：
2016-05-30 15:52:19
阅读次数：
171
在上一篇博文中我们有介绍hadoop的单机伪分布式模式的使用，那么现在我们就来看下多机完全分布式模式。1. 多主机配置1.1 对多台机器进行主机名设置用root账户使用如下命令：vim /etc/hostname分别对三台机器设置为：host1、host2、host3
1.2 配置主机映射用root账户使用如下命令：vim /etc/hosts分别配置三台机器：
host1：
host2：...
分类：
其他好文 时间：
2016-05-28 16:02:42
阅读次数：
180
1. 下载hadoop使用如下命令：wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz使用如下命令解压：tar -zxvf hadoop-1.2.1.tar.gz2. 配置hadoop将hadoop的bin目录加入到配置文件中，使用如下命令：vim .bashrc添加如下行：expor...
分类：
其他好文 时间：
2016-05-28 16:01:09
阅读次数：
173
因为打算学习简单的Hadoop相关知识所以，打算尝试安装伪分布式模式，在有一定了解之后再打算学习完全分布式的相关知识。 首先 在vmware虚拟机中 安装了Linux操作系统（CentOS 64位） 安装过程为以下几个步骤： 一、配置host文件 二、建立hadoop运行账号 三、配置ssh免秘钥登 ...
分类：
其他好文 时间：
2016-05-24 06:54:54
阅读次数：
120
最近在学Hadoop，学习Hadoop第一步当然是搭建环境。因为刚开始接触Hadoop，加之对Linux命令行不熟悉。完全搭建好这个环境用了两天的时间。虽然搭建好这个环境只是第一步，但是我感觉还是收获很多，比如对Linux的操作，其中最让我头疼的是Linux权限问题。搭建过程中操作一般都是对的，因为开始用的是root用户，所以切换到普通用户老是报拒绝操作。所以我频换的切换用户进行权限更改，下次再搭...
分类：
其他好文 时间：
2016-05-13 03:07:03
阅读次数：
241
这里简单总结一下自己在配置Hadoop完全分布式以及namenode的HA的步骤及遇到的问题和解决方法。...
分类：
其他好文 时间：
2016-05-13 01:58:22
阅读次数：
356
前面两章主要讲解了完全分布式的搭建，这章主要讲解服务器单机完成伪分布的搭建,介绍Hadoop配置，启动，以及简单测试。我的机器:阿里云服务器，64位，Java64，Hadoop2.4.1（64）...
分类：
其他好文 时间：
2016-05-12 22:48:12
阅读次数：
221
