码迷,mamicode.com
首页 > 其他好文 > 详细

入门Hadoop---Hbase搭建

时间:2019-11-18 18:31:53      阅读:80      评论:0      收藏:0      [点我收藏+]

标签:value   ble   进入   alt   而不是   jdk   hive   mapred   启动   

环境介绍

tuge1 tuge2 tuge3 tuge4
NameNode NameNode DataNode DataNode
ZooKeeper ZooKeeper ZooKeeper ZooKeeper
JournalNode JournalNode JournalNode
ZKFC ZKFC
HMaster HRegionServer/HMaster HRegionServer HRegionServer

HBase 1.3.6

Hadoop 2.6.5

ZooKeeper 3.5.5

Java JDK 8

从官网可知兼容性:

Java的兼容性:

HBase版本 JDK 7 JDK 8 JDK 9(非LTS) JDK 10(非LTS) JDK 11
2.1+ × HBASE-20264 HBASE-20264 HBASE-21110
1.3+ × HBASE-20264 HBASE-20264 HBASE-21110

Hadoop的兼容性:

HBase-1.3.x HBase-1.4.x HBase-1.5.x HBase-2.1.x HBase-2.2.x
Hadoop-2.4.x × × × ×
Hadoop-2.5.x × × × ×
Hadoop-2.6.0 × × × × ×
Hadoop-2.6.1 + × × × ×
Hadoop-2.7.0 × × × × ×
Hadoop-2.7.1以上 × ×
Hadoop-2.8。[0-2] × × × × ×
Hadoop-2.8。[3-4] × ×
Hadoop-2.8.5 +
Hadoop-2.9。[0-1] × × × × ×
Hadoop-2.9.2 +
Hadoop-3.0。[0-2] × × × × ×
Hadoop-3.0.3 + × × × ×
Hadoop-3.1.0 × × × × ×
Hadoop-3.1.1 + × × ×

HBase搭建

前提:已经搭建完HDFS和MapReduce环境。

我这里在之前搭建的基础上继续操作。

  1. 下载HBase安装包

    • 在/opt/下面新建hbase文件夹

    ? cd /opt

    ? mkdir hbase

    ? cd hbase

    • 下载

    镜像地址

    ? wget http://mirror.bit.edu.cn/apache/hbase/hbase-1.3.6/hbase-1.3.6-bin.tar.gz

    • 解压

    ? tar -xvf hbase-1.3.6-bin.tar.gz

  2. 配置环境变量

    vim /etc/profile

    添加如下内容:

    export JAVA_HOME=/opt/java/jdk1.8.0_221
    export HADOOP_HDFS_HOME=/opt/hadoop/hadoop-2.6.5
    export HADOOP_CONF_DIR=$HADOOP_HDFS_HOME/etc/hadoop
    export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5
    export ZK_HOME=/opt/zookeeper/apache-zookeeper-3.5.5-bin
    export HIVE_HOME=/opt/hive/apache-hive-1.2.2-bin
    export HBASE_HOME=/opt/hbase/hbase-1.3.6
    PATH=$JAVA_HOME/bin:$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$ZK_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin
    CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
    export PATH CLASSPATH

  3. 配置文件设置
    进入到conf里面,开启分布式集群,配置集群地址,配置HMaster备用服务器地址,配置HRegionService地址配置HBase在HDFS中的路径,配置Active Master。设置使用外部环境ZooKeeper,而不是自身ZooKeeper。

    • 编辑hbase-site.xml (开启分布式集群,配置集群地址,配置HMaster备用服务器地址。)

    ? <property>
    ? ?hbase.rootdir
    ? <value>hdfs://mycluster/hbase
    ? </property>

    ? <property>
    ? <name>hbase.zookeeper.property.dataDir
    ? ?/opt/zookeeper/apache-zookeeper-3.5.5-bin/temp
    ? </property>
    ? ?
    ? ? <name>hbase.zookeeper.quorum
    ? ? ?tuge2,tuge3,tuge4
    ? ? ?the pos of zk
    ? ? ?

    ? ? <property>
    ? ? ?hbase.cluster.distributed
    ? ? ?true
    ? ? ?
    ? ? <property>
    ? ? ?hbase.master
    ? ? <value>tuge1:60000
    ? ? ?

    • 编辑backup-masters(配置hbase master备机)

    tuge2

    • 编辑hbase-env.sh(配置Java路径,禁止HBase使用自带的ZooKeeper)

    export HBASE_MANAGES_ZK=false
    export JAVA_HOME=/opt/java/jdk1.8.0_221

    • 编辑regionservers(配置HRegionServer)

    tuge2
    tuge3
    tuge4

  4. 将hdfs-site.xml 文件复制到conf下面

    cp /opt/hadoop/hadoop-2.6.5/etc/hadoop/hdfs-site.xml /opt/hbase/hbase-1.3.6/conf/

  5. 启动HBase

    • 进入到bin目录下

    ? cd bin

    • 运行

    ? start-hbase.sh

    技术图片

    ? tuge1

    技术图片

    ? tuge2

  6. 停止HBase

    stop-hbase.sh

系列传送门

入门Hadoop---Hbase搭建

标签:value   ble   进入   alt   而不是   jdk   hive   mapred   启动   

原文地址:https://www.cnblogs.com/shun7man/p/11883616.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!