我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配 ...
分类:
系统相关 时间:
2017-10-29 13:55:04
阅读次数:
226
前言 本文搭建了一个由三节点(master、slave1、slave2)构成的Hadoop完全分布式集群(区别单节点伪分布式集群),并通过Hadoop分布式计算的一个示例测试集群的正确性。 本文集群三个节点基于三台虚拟机进行搭建,节点安装的操作系统为Centos7(yum源),Hadoop版本选取为 ...
分类:
其他好文 时间:
2017-10-28 20:32:29
阅读次数:
262
原有环境 http://www.cnblogs.com/ilifeilong/p/7406944.html 现计划向集群新增一台datanode,如表格所示 1. 配置系统环境 主机名,ssh互信,环境变量等 2. 修改namenode节点的slave文件,增加新节点信息 3. 在namenode节 ...
分类:
其他好文 时间:
2017-09-02 00:07:17
阅读次数:
247
hbase的安装分为单机模式和完全分布式 单机模式 单机模式的安装很简单, 需要注意hbase自己内置一个zookeeper, 如果使用单机模式, 那么该机器的zookeepr不可以启动 1, 添加java的环境变量 vim {HBASE_HOME}/conf/hbase-env.sh 2, 修改配 ...
分类:
其他好文 时间:
2017-08-23 10:25:16
阅读次数:
172
hbase的完全分布式建立起来了, 可以试下好使不 1, 导包, {HBASE_HOME}/lib 下所有的jar包, 导入 2, 使用junit测试, 会报错, 因为缺少一个jar 3, 获取链接, 只需要提供zookeeper的地址即可 4, 新建表 5, 插入模拟数据 生成模拟rowkey的方 ...
分类:
其他好文 时间:
2017-08-23 10:24:28
阅读次数:
156
HBase的完全分布式的搭建与部署,以及多master 一:前提准备 1.设置时间同步 2.清空logs,datas 3.格式化集群 bin/hdfs namenode -format 4.重启集群 sbin/start-dfs.sh sbin/start-yarn.sh 5.删除zookeeper ...
分类:
其他好文 时间:
2017-08-22 23:08:14
阅读次数:
228
本次测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/09 ...
分类:
其他好文 时间:
2017-08-21 22:20:56
阅读次数:
329
1.选取三台服务器(CentOS系统64位)114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改host..
分类:
其他好文 时间:
2017-08-17 19:58:17
阅读次数:
197
HBase 默认配置 Centos6.5下Hbase配置 Hbase集群搭建及所有配置调优参数整理及API代码运行 HBase集群安装部署(完全分布式) ...
分类:
其他好文 时间:
2017-08-08 21:44:36
阅读次数:
123
Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器,运行所有的守护进程, 从节点DataNode、NodeManager * 完全分布式 有多个从节点 DataNodes NodeManagers 配置文件 $HADOOP_HOME/e ...
分类:
其他好文 时间:
2017-08-08 09:27:17
阅读次数:
171