Hbase启动出问题 2019-12-15 09:59:57,183 WARN [hadoop:16000.activeMasterManager] hdfs.DFSClient: DFS Read org.apache.hadoop.hdfs.BlockMissingException: Coul ...
分类:
其他好文 时间:
2019-12-15 23:53:26
阅读次数:
859
一.初始化环境 1.安装zookeeper环境并启动 2.安装hadoop环境并启动 3.准备三台服务器搭建Hbase集群 二.下载安装包 下载地址: http://archive.apache.org/dist/hbase/2.0.0/hbase-2.0.0-bin.tar.gz 三.搭建集群环境 ...
分类:
其他好文 时间:
2019-12-15 20:26:23
阅读次数:
96
Sqoop (sqoop.apache.org)工具是hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于 ...
分类:
其他好文 时间:
2019-12-15 16:13:22
阅读次数:
82
关系型数据库与非关系型数据库关系型数据库:一个机构化的数据库,创建在关系模型基础上,一般面向于记录包括oracle,mysql,sqlserver,db2非关系型数据库:除了主流的关系型数据库意外的数据库,都人为是非关系型的包括redis,mongdb,hbase,couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类:
数据库 时间:
2019-12-15 16:08:28
阅读次数:
101
1 详细异常信息 2 解决心路历程 A尝试命令修复,不起作用 sudo -u hbase <!--?xml version="1.0" encoding="UTF-8"?--> hbase hbck repair B 尝试重新分配,继续修复,不起作用 sudo -u hbase <!--?xml v ...
分类:
其他好文 时间:
2019-12-14 22:52:52
阅读次数:
169
Hive与HBase的区别Hive架构原理Hive的数据模型及各模块的应用场景Hive支持的文件格式和压缩格式及各自特点Hive内外表的区分方法及内外部差异Hive视图如何创建、特点及应用场景Hive常用命令及作用Hive常用的10个系统函数及作用简述UDF/UDAF/UDTF是什么,各自解决问题及 ...
分类:
其他好文 时间:
2019-12-14 16:10:09
阅读次数:
90
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库,可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类:
其他好文 时间:
2019-12-14 15:36:27
阅读次数:
95
安装参考 :https://www.cnblogs.com/qingyunzong/p/8668880.html hbase一般用法, https://www.cnblogs.com/cxzdy/p/5583239.html ...
分类:
其他好文 时间:
2019-12-10 22:40:16
阅读次数:
103
[TOC] 一、简介 在上一篇文章 "HBase 基础入门" 中,我们已经介绍了 HBase 的一些基本概念,以及如何安装使用的方法。 那么,作为一名 Javaer,自然是希望用 Java 的方式来与 HBase 进行对话了。 所幸的是,HBase 本身就是用 Java 编写的,天生自带了 Java ...
分类:
编程语言 时间:
2019-12-09 23:12:20
阅读次数:
159