前言 上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 ...
分类：
其他好文 时间：
2016-08-12 01:14:06
阅读次数：
236
1.安装前，准备三台CENTOS6.6系统的主机或虚机,并且关闭防火墙及selinux.2.按如下表格配置IP地址，修改hosts文件及本机名192.168.199.21hadoop21Master102.168.199.22hadoop22Slave1192.168.199.23hadoop23Slave2同理修改Slave1，Slave2的IP地址，hosts文件及本机名。3.安装ORA..
分类：
其他好文 时间：
2016-08-06 22:02:59
阅读次数：
207
搭建完全分布式hbase集群------------------------- 1.配置master主机上的文件 [conf/hbase-site.xml] <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://s1:8020/hbase</value> </property> <..
分类：
其他好文 时间：
2016-08-04 11:51:37
阅读次数：
122
使用3台机器搭建hdfs完全分布式集群 201(NameNode),202(DataNode),203(DataNode) 整体架构 NameNode（192.168.1.201） DataNode（192.168.1.202，192.168.1.203） SecondaryNameNode（192 ...
分类：
其他好文 时间：
2016-08-02 01:24:28
阅读次数：
289
A：安装zookeeper（完全分布式（使用虚拟机安装）） 1.上传zk安装包2.解压3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件（zoo.cfg） dataDir=/it ...
分类：
其他好文 时间：
2016-07-20 19:08:54
阅读次数：
172
当你利用Hadoop进行大数据分析和处理时，首先你需要确保配置、部署和管理集群。这个即不容易也没有什么乐趣，但却受到了开发者们的钟爱。本文提供了5款工具帮助你实现。 Apache Ambari Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。......
分类：
其他好文 时间：
2016-07-15 21:27:09
阅读次数：
1358
hadoop---------------------1、可靠、可伸缩、分布式的计算框架，开源软件四大模块1、common hadoop0-common2、hdfs3、mapreduce4、yarn---------------------完全分布式：1、hdfs NameNode DataNode secondaryNode 启动脚本：start-all.sh(start-dfs.sh)2、Yarn ResourceMana..
分类：
其他好文 时间：
2016-07-03 15:59:54
阅读次数：
145
hadoop端口----------------1.namenode50070http://namenode:50070/2.resourcemanager:8088http://localhost:8088/3.historyServerhttp://hs:19888/4.namerpc(remoteprocedurecall,远程过程调用)hdfs://namenode:8020/ssh指令结合操作命令---------------------$>sshs300rm-..
分类：
其他好文 时间：
2016-06-27 00:14:25
阅读次数：
213
集群远程复制（由namenode分发）---------------------------------------#!/bin/bash
if[$#-lt1];then
echonoargs
exit;
fi
#getfirstargument
arg1=$1;
cuser=`whoami`
fname=`basename$arg1`
dir=`dirname$arg1`
if["$dir"="."];then
dir=`pwd`
fi
for((i=200;i<=50..
分类：
系统相关 时间：
2016-06-27 00:13:18
阅读次数：
197
问题描述： 在集群模式下更改节点后，启动集群发现 datanode一直启动不起来。 我集群配置：有5个节点，分别为master slave1-5 。 在master以Hadoop用户执行：start-all.sh jps查看master节点启动情况： NameNode JobTracker Seco ...
分类：
其他好文 时间：
2016-06-13 13:21:53
阅读次数：
180
