本文借鉴：Oracle亿级数据查询处理、Oracle 分区表使用和查询、垂直分区+水平分区（特此感谢！） 一、前言 大数据量的查询，不仅查询速度非常慢，而且还会导致数据库经常宕机，在尝试添加索引及查询方式修改后，还有没有更有效的解决方案呢？ 分库、分表、分区这些概念咱就应该了解一下。 二、分表 假如 ...
分类：
数据库 时间：
2019-09-06 23:01:55
阅读次数：
131
一、分表： 水平分表：根据条件把数据分为N个表（例如：商品表中有月份列，则可以按月份进行水平分表）。 使用场景：一张表中数据太多，查询效率太慢。 当需要同时查询被水平分表的多张表时： 在两条SQL语句中间加union,就能把两表数据合并展示。 union:数据合并时去重。 Union all:数据合 ...
分类：
数据库 时间：
2019-09-06 01:40:30
阅读次数：
123
Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 一、概述 总体上Hive有四种表：外部表，内部表（管理表），分区表，桶表。分别对应不同的需求。下面主要讲解各 ...
分类：
其他好文 时间：
2019-09-03 18:10:55
阅读次数：
81
有关表分区的一些维护性操作：一、添加分区以下代码给SALES表添加了一个P3分区ALTER TABLE SALES ADD PARTITION P3 VALUES LESS THAN(TO_DATE(‘2003-06-01′,’YYYY-MM-DD’));注意：以上添加的分区界限应该高于最后一个分区... ...
分类：
数据库 时间：
2019-09-02 09:56:55
阅读次数：
103
可以生成验证码类型有“字母字符串” 、“常用的汉字”、“简单的数学运算”。生成的验证码图片有jpeg和gif两种格式。 生成随机验证码包括数字字母和汉字两种形式,汉字形式利用GB2312编码表生成而且是常用的汉字。 GB2312 字符编码分布表： 分区范围 符号类型 第01区 中文标点、数学符号以及 ...
--1.创建文件组alter database Test add filegroup [FG_Test_01];alter database Test add filegroup [FG_Test_02]; --2.创建文件组文件alter database Test add file(name=N ...
分类：
其他好文 时间：
2019-08-05 00:19:26
阅读次数：
95
一、自动分区推断1、概述表分区是一种常见的优化方式，比如Hive中就提供了表分区的特性。在一个分区表中，不同分区的数据通常存储在不同的目录中，分区列的值通常就包含在了分区目录的目录名中。Spark SQL中的Parquet数据源，支持自动根据目录名推断出分区信息。例如，如果将人口数据存储在分区表中，... ...
分类：
其他好文 时间：
2019-07-31 17:01:49
阅读次数：
138
分区表 在Hive Select查询中，一般会扫描整个表内容(HDFS上文件的内容)，会消耗很多时间做没必要的工作。分区表指的是在创建表时，指定partition的分区空间。 庞大的数据集可能需要耗费大量的时间去处理。在许多场景下，可以通过分区或切片的方法减少每一次扫描总数据量，这种做法可以显著地改 ...
分类：
其他好文 时间：
2019-07-25 17:38:46
阅读次数：
92
1，创建适当的索引（主键索引、唯一索引、普通索引、全文索引、空间索引）。 2，对sql语句进行优化 》慢查询（explain）。 3，使用分表技术（水平分表，垂直分表），分区技术。 4，读写分离。 5，创建适当的存储过程，函数，触发器等。 6，对myini优化，优化配置。 7，软硬件神级 ...
分类：
数据库 时间：
2019-07-15 01:19:57
阅读次数：
131
MySQL的简介MySQL是一个关系型数据库t管理系统，由瑞典MySQLAB公司开发MySQL是一种开放源代码的关系型数据库管理系统，因为是开放源代码的，在下载后可以根据自己的需要进行修改。由于体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本需选择了MySQL作为网站数据库。最开始由SUN公司收购，后面被甲骨文Oracle公司收购SQL,NoSQL(N
分类：
数据库 时间：
2019-07-01 15:43:45
阅读次数：
188
