hbase调优 一.表的设计 1.设置预分区表 原因:前期region读写都集中到一个regionserver上,直到文件足够大时,才进行分区,这样会降低性能. 解决方案:建表是设置预分区,这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 public static ...
分类：
其他好文 时间：
2019-12-30 14:28:10
阅读次数：
76
表空间是指磁盘上的一块存储区域，用来存放表。 使用范围分区法对数据量大的表进行分区，分区存放到不同的表空间。 范围分区就是用表中的某个字段值的范围进行分区。 比如： 1）用数值型的id字段,id<100000的在第1个分区，100000<=id<200000的在第二个分区。 2）用日期类型的字段，2 ...
分类：
数据库 时间：
2019-12-30 14:24:31
阅读次数：
112
介绍： 全球唯一标识分区表（GUID Partition Table，缩写：GPT）是一个实体硬盘的分区表的结构布局的标准。它是可扩展固件接口（UEFI）标准（被Inter用于代替个人计算机的BIOS）的一部分，被用于代替BIOS系统中的一个32bits的存储逻辑块地址和大小信息的主记录（MBR）分 ...
分类：
其他好文 时间：
2019-12-24 13:27:09
阅读次数：
115
1.创建分区表 CREATE TABLE `fs_orders_funds_detail_sp32` ( `id` int(11) NOT NULL AUTO_INCREMENT, `confirm_time` datetime NOT NULL DEFAULT '0000-00-00 00:00: ...
分类：
数据库 时间：
2019-12-21 18:24:50
阅读次数：
175
博文结构事务的使用索引的使用视图的作用序列、同义词的使用分区表的概念一.事务Oracle通过事务来保证数据库中数据的一致性。事务的含义事务就是业务上的一个逻辑单元，它能够保证其中对数据所有的操作要么全部成功，要么全部失败事务开始于一条可执行的SQL语句，继续执行事务主体,然后结束于以下的任意一种情况。显式提交(commit):当事务遇到cormmit指令时,将结束事务并永久保存所有更改的数据。显式
分类：
数据库 时间：
2019-12-21 00:16:15
阅读次数：
110
Centos7 LVM管理的逻辑卷重新划分分区 https://www.cnblogs.com/kevingrace/p/5825963.html umount /home 卸载掉/home目录 vi /etc/fstab 编辑分区表文件，注释掉/home分区 systemctl reboot 重启 ...
分类：
其他好文 时间：
2019-12-20 13:39:50
阅读次数：
86
产生背景：sqoop抽取oracle数据到hive表时，只能写入到固定分区（--hive-partition-key #hive分区字段 --hive-partition-value #hive分区值）。于是先把数据抽取到一张增量表，然后从增量表动态写入分区表。 set hive.exec.dyna ...
分类：
数据库 时间：
2019-12-19 23:26:48
阅读次数：
305
① 搜集和删除索引、表和簇的统计信息② 验证表、索引和簇的结构③ 鉴定表和簇和行迁移和行链接针对analyze的搜集和删除统计信息功能而言Oracle推荐使用DBMS_STATS包来代替analyze搜集优化信息DBMS_STATS可以并行的搜集信息，可以搜集分区表的全局信息进一步来说，CBO只会使 ...
分类：
其他好文 时间：
2019-12-18 23:45:07
阅读次数：
106
采集类型： 全量 采集： 相当于每天整张表做个快照，在hdfs上就是一个分区 ，表比较小 增量采集： 采集每天增加的部分 1、流水型数据 ： 写入数据库数据不再发生变化（如日志，交易流水） ， 第二天处理前一天的数据 采集条件可设为1/ 按时间增量的抽取 ，sqoop: create_time>=T ...
分类：
其他好文 时间：
2019-12-16 13:05:35
阅读次数：
113
主要的需求 针对大体量表的OLAP统计查询，需要找到一个稳定，高性能的大数据数据库，具体使用 数据可以实时的写入和查询，并发的tps不是很高 建立数据仓库，模式上主要采用星星模型、雪花模型，或者宽表 前端展示 分为3类 saiku、granafa、c#代码开发 数据体量：事实表在3-5亿、维度表大的 ...
分类：
数据库 时间：
2019-12-15 21:51:14
阅读次数：
704
