介绍了阿里云HBase自研备份恢复功能的基本背景以及基本原理架构和基本使用方法。
分类:
其他好文 时间:
2019-01-03 18:14:42
阅读次数:
155
1) 数据采集:定制开发采集程序,或使用开源框架FLUME 2) 数据预处理:定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术:基于hadoop之上的Hive 4) 数据导出:基于hadoop的sqoop数据导入导出工具 5) 数据可视化:定制开发web程序或使用kettle ...
分类:
其他好文 时间:
2019-01-02 23:28:02
阅读次数:
243
公司要将监控数据存入opentsdb,而opentsdb使用了hbase作为存储。所以想搭建一套高可用的分布式存储来供opentsdb使用。 因为机器有限,所以测试过程中将三台集群的环境安装在docker上。 一:宿主机版本和docker版本 宿主机:Centos7.2 3.10.0-862.14. ...
分类:
其他好文 时间:
2019-01-02 19:27:50
阅读次数:
225
HBase1.0.1.1 API与原来有所不同 1 package com.felix.hbaseapi_test; 2 3 /* 这是旧版的 API操作 */ 16 public class hbaseapifelix { 17 18 public static final String TABL ...
一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First ...
分类:
其他好文 时间:
2019-01-02 19:13:55
阅读次数:
203
hbase是一个构建在hdfs上的分布式列存储系统;hbase是apachehadoop生态系统中的重要一员,主要用于海量结构化数据存储从逻辑上讲,hbase将数据按照表、行和列进行存储hbase表特点: 1.大:一个表可以有数十亿行,上百万列; 2.无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列; 3.面向列:面向列(族)的存储
分类:
其他好文 时间:
2019-01-02 19:04:13
阅读次数:
179
https://www.cnblogs.com/lixinjie/p/five-minutes-glance-at-hbase.html 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图: 其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即 ...
分类:
其他好文 时间:
2019-01-02 16:18:49
阅读次数:
324
自从成为架构师()之后,李大胖的学习动力似乎少了一些,尤其是今年(当然也有一些客观因素)。 临近岁末,内心着实有些惭愧,决定学习一把大数据。跟随一下业界前沿(其实已经不是前沿了),梦想着有一天能够拥有拥有梦想的权力。 操练起来 启动装有CentOS的虚拟机(IP是172.18.232.181),按照 ...
分类:
其他好文 时间:
2019-01-02 12:34:59
阅读次数:
261
1、客户端先到zookeeper查找hbase:meta所在的RegionServer服务器 2、去hbase:meta表查找自己所要的数据所在的region server 3、去目标region server上的region要自己的数据 可以看出客户端查找数据可以不经过master ...
分类:
其他好文 时间:
2019-01-01 14:03:34
阅读次数:
216
<! TOC "说明" "安装" "配置" "启动" "网页效果" "一点废话" <! /TOC 本文介绍hbase集群配置 说明 安装 配置 1. hosts 2. hbase env.sh 3. regionservers 4. hbase site.xml 5. core site.xml 6 ...
分类:
其他好文 时间:
2018-12-31 21:12:07
阅读次数:
222