Compressed Sparse Row，CSR格式的列下标向量和数据值向量与COO格式（三元组）类似，在行下标表示上做了压缩。根据数据的排列规则，只需要指定在哪个数据换到下一行就行。 把非零数据排成一列，并从0开始建立索引，row_ptr指定在哪个索引位置进行换行。例如，稀疏矩阵的第二行是1，那 ...
分类：
其他好文 时间：
2017-09-24 10:46:58
阅读次数：
571
处理百万级以上的数据提高查询速度的方法：1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。3.应尽量避免在 where 子句中对字段进行 null ...
分类：
其他好文 时间：
2017-09-21 20:52:10
阅读次数：
159
首先，Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。 其次，Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：Table，Exter ...
分类：
其他好文 时间：
2017-09-18 20:34:11
阅读次数：
130
1、表的主键、外键必须有索引； 2、数据量超过300的表应该有索引； 3、经常与其他表进行连接的表，在连接字段上应该建立索引； 4、经常出现在Where子句中的字段，特别是大表的字段，应该建立索引； 5、索引应该建在选择性高的字段上； 6、索引应该建在小字段上，对于大的文本字段甚至超长字段，不要建索 ...
分类：
数据库 时间：
2017-09-16 12:02:35
阅读次数：
199
数据库的操作，选择，修改，删除。对于数据量大或者有性能要求时，都需要优化我们的操作，其中一个操作就是建立索引，在数据库表的某列或者某几列上面建立索引。 例如 表information： name age sex address …… 查询某个姓名为“Nommy”的信息，如果该表有几千行，则需每行遍历 ...
分类：
数据库 时间：
2017-09-15 13:43:42
阅读次数：
168
索引对于提高查询性能非常有效，因此，一般应该考虑应该考虑为分区表建立索引，为分区表建立索引与为普通表建立索引的语法一直，但是，其行为与普通索引有所差异。默认情况下，分区表中创建的索引使用与分区表相同分区架构和分区列，这样，索引将于表对齐。将表与其索引对齐，可以使管理工作更容易进行，对于滑动窗口方案尤 ...
分类：
数据库 时间：
2017-09-15 12:07:28
阅读次数：
178
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引 ...
分类：
数据库 时间：
2017-09-15 11:00:33
阅读次数：
228
建立索引的优缺点: 为什么要创建索引呢？ 这是因为，创建索引可以大大提高系统的性能。 第一、通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。 第二、可以大大加快 数据的检索速度，这也是创建索引的最主要的原因。 第三、可以加速表和表之间的连接，特别是在实现数据的参考完整性方面特别有意义。 第 ...
分类：
数据库 时间：
2017-09-15 02:02:52
阅读次数：
238
存储引擎 1. 定义 存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和操作此表的类型）。 在Oracle 和SQL Server等数据库中只有一种存储引擎，所有数据存储 ...
分类：
数据库 时间：
2017-09-12 15:41:09
阅读次数：
140
一.查询时应该注意 1.常用字段建立索引 2.使用max()函数取记录集中最大值时 对应字段建立索引 3.count(*)可用count(某一列) 但所的值不同因为count(某一列)不包含字段为null的情况 4.根据情况用关联(join) 代替子查询 因为子查询执行时建立临时表 查询完毕后再删除 ...
分类：
数据库 时间：
2017-09-11 16:21:05
阅读次数：
195
