索引 mongodb mysql redis的区别和使用场景 爬虫数据去重 实现增量式爬虫 使用数据库建立关键字段（一个或多个）建立索引进行去重 根据url地址进行去重 使用场景 url地址对应的数据不会变的情况下，url地址能够唯一判别一个条数据的情况 思路 url存在redis中 拿到url地址 ...
分类：
数据库 时间：
2019-02-19 13:31:11
阅读次数：
191
[20190219]那个更快(11g).txt--//前几天测试11g Query Result Cache RC Latches时,链接http://blog.itpub.net/267265/viewspace-2632907/--//有网友指出测试有问题,建立索引唯一,并不会导致select ...
分类：
其他好文 时间：
2019-02-19 11:41:29
阅读次数：
184
1.首先引入依赖 2.既然要进行智能联想，那么我们需要为提供联想的数据建立一个联想索引(而不是使用原来的数据索引)，既然要建立索引，那么我们需要知道建立索引的数据来源。我们使用一个扩展自InputIterator的类来定义数据来源。首先我们看看被扩展的类InputIterator weight(): ...
分类：
Web程序 时间：
2019-02-02 10:45:51
阅读次数：
214
预备知识： 索引是针对于列提出来的概念。 假设对object_id建立索引，就要将这一列的‘值’和‘rowid’一起放到索引中去。rowid就是表中某一行的物理地址（rowid=数据文件号+块号 【一个extent中rowid的值是递增的】）。 Oracle中表是堆表，表中的数据是无序的，但是索引中 ...
分类：
其他好文 时间：
2019-01-29 00:31:56
阅读次数：
153
希望大家阅读之后，感觉好的话可以收藏或者推荐给更多的人，让更多的人看到，如果有什么错误或者有争议的地方，欢迎大家纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判 ...
分类：
数据库 时间：
2019-01-22 15:56:03
阅读次数：
183
借助explain分析SQL，判断该怎么建立索引。 还需要注意，有些情况会导致索引失效，用不上索引，应该优化SQL，应用上索引。 什么情况导致索引失效？ 1、在索引列上做任何操作（计算、函数、类型转换（字符串不加引号时）） 2、索引中范围条件右边的列 3、在使用不等于（！=或<>）和IS NOT N ...
分类：
数据库 时间：
2019-01-21 21:12:34
阅读次数：
204
SQL 百万级数据提高查询速度的方法 1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。3.应尽量避免在 where 子句中对字段进行 null ...
分类：
数据库 时间：
2019-01-20 00:56:36
阅读次数：
226
全文检索简介 全文检索就是针对所有内容进行动态匹配搜索的概念，针对特定的关键词建立索引并精确匹配达到性能优化的目的 最常见的全文检索就是我们在数据库进行的模糊查询，但是模糊查询是针对整体的内容的一个动态匹配过程，在数据量较大的情况下匹配效率极低，常规项目中数据量一般都比较多并且内容繁杂，所以正常的项 ...
分类：
其他好文 时间：
2019-01-19 14:28:41
阅读次数：
250
shard 和 replica 机制： 1. index包含多个shard 2. 每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力 3. 增减节点时，shard会自动在nodes中负载均衡 4. primary shard和replica shard ...
分类：
其他好文 时间：
2019-01-16 21:41:42
阅读次数：
150
重点关注: 1) 没有查询条件，或者查询条件没有建立索引 例如: 在业务数据库中，特别是数据量比较大的表。是没有全表扫描这种需求。 1、对用户查看是非常痛苦的。 2、对服务器来讲毁灭性的。 例如: 2) 查询结果集是原表中的大部分数据，应该是25％以上。 查询的结果集，超过了总数行数25%，优化器觉 ...
分类：
数据库 时间：
2019-01-16 00:20:11
阅读次数：
349
