1、概念 HBase是一个分布式的NoSQL数据库,其特点高可靠、高性能、面向列、可伸缩。 适合存储大表数据 ,并且可实时读写大表数据。大表:表的规模可以达到数十亿行以及数百万列 表结构稀疏。稀疏:对于为空的列,并不占用存储空间 数据底层存储于Hadoop HDFS分布式文件系统。 利用ZooKee ...
分类:
其他好文 时间:
2021-02-19 13:36:07
阅读次数:
0
##Hbase和Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的 ...
分类:
其他好文 时间:
2021-02-19 12:52:56
阅读次数:
0
第一个Mybatis程序 一、创建数据库、数据表 sql语句如下: create database mybatis; use mybatis; create table user( id int primary key auto_increment , name varchar(50) not nu ...
分类:
其他好文 时间:
2021-02-18 13:32:04
阅读次数:
0
一、导入表结构 USE `qskj_03`; /*Table structure for table `test` */ DROP TABLE IF EXISTS `test`; CREATE TABLE `test` ( `id` int(10) NOT NULL AUTO_INCREMENT C ...
分类:
数据库 时间:
2021-02-15 12:33:14
阅读次数:
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明,记录于此,供各位同学及自己参考研究。 ...
分类:
其他好文 时间:
2021-02-05 10:38:53
阅读次数:
0
1、sql规范 库名、表名、字段名,必须使用小写字母,不得超过30个字符 库名、表名、字段名,必须尽量见名知意,使用下划线分割,禁止使用mysql保留字 建表时表必须有主键,使用bigint unsigned类型,并使用auto_increment自增标记 所有字段及表都必须有注释,存储引擎必须使用 ...
分类:
数据库 时间:
2021-01-30 12:04:05
阅读次数:
0
可以设置mysql的id字段自动递增,方法如下:在 MySQL 8.0 Command Line Client 中操作 use 数据库名称 ALTER TABLE 数据库中的表名称 MODIFY id int NOT NULL AUTO_INCREMENT; 问题得以解决 ...
分类:
数据库 时间:
2021-01-27 13:57:27
阅读次数:
0
来源:https://mp.weixin.qq.com/s/Tb8GtabOVBvx88de0C4ncw 0 背景 在某些场景中,比如GROUP BY聚合之后的结果,需要去更新之前的结果值。这个时候,需要将 Kafka 消息记录的 key 当成主键处理,用来确定一条数据是应该作为插入、删除还是更新记 ...
分类:
数据库 时间:
2021-01-27 13:12:51
阅读次数:
0
HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要说Hive,Hive方便地提供了Hiv ...
分类:
其他好文 时间:
2021-01-21 10:54:30
阅读次数:
0
Hbase的配置与使用 设置环境变量 vim /etc/profile export HBASE_HOME=/usr/local/hbase export PATH=$PATH:/usr/local/hbase/bin 设置Hbase的配置文件 cd /usr/local/hbase/conf vi ...
分类:
其他好文 时间:
2021-01-20 12:02:44
阅读次数:
0