注：在上一篇的solr增量索引中遇到了一个很大的问题：定时任务一直无法执行，后来找了很多原因，分析日志后发现增量索引的请求都没发送，又经过一番折腾才在网上找到了解决方法，是apache-solr-dataimportscheduler-1.0.jar的一个bug，post请求无法正确发送，这位仁兄的 ...
分类：
其他好文 时间：
2017-04-23 20:43:26
阅读次数：
312
由于sphinx主索引建立后，如果数据库有新的数据添加的话，需要重新生成主索引，如果数据量大就耗费资源，不如添加哪些数据就生成这些数据的索引，称为‘增量索引’。 实现思路： 需要准备：1》建立一张表，记录数据最大id值。2》两个索引 1.先在MySQL中插入一个计数表和两个索引表 CREATE TA ...
分类：
其他好文 时间：
2017-04-15 14:47:58
阅读次数：
196
实时更新索引 1.引子 公司的底层检索引擎已经用了10年，很稳定也没有很大的重构需求，直到最近PM报了很多数据更新不及时的问题， 加上最近我也有个想法实现一个轻量级的检索引擎，于是用了不到2个月算是完成第1版(github地址:https://github.com/dodng/comse) 一是尝试 ...
分类：
其他好文 时间：
2017-04-10 11:04:03
阅读次数：
211
solr4.2增量索引之同步(修改，删除，新增)--转载 solr4.2增量索引之同步(修改，删除，新增)--转载 原文地址：http://www.jiancool.com/article/12743229775/;jsessionid=14E9B3F1BB33399799884B5C8F15DDE ...
分类：
其他好文 时间：
2016-12-31 07:23:01
阅读次数：
238
公司项目需要，要将mysql数据库中的数据快速检索并分词。 开始使用的是sphinx，这个搜索引擎安装，配置，使用，都比较简单，无需安装其他插件，相对来说功能比较单一。 对于新增记录，我的处理方法是添加增量索引，定期合并到主索引，这导致索引体积越来越大。由于sphinx在运行时是将这些索引放在内存里 ...
分类：
其他好文 时间：
2016-12-29 14:26:23
阅读次数：
396
表 配置文件csft.conf php代码 ./indexer delta --rotate ...
分类：
其他好文 时间：
2016-11-26 02:37:45
阅读次数：
212
一.sphinx增量索引的设置 数据库中的已有数据很大，又不断有新数据加入到数据库中，也希望能够检索到。全部重新建立索引很消耗资源，因为我们需要更新的数据相比较而言很少。例如。原来的数据有几百万条，而新增的只是几千条。这样就可以使用“主索引+增量索引”的模式来实现近乎实时更新的功能。 这个模式实现的 ...
分类：
其他好文 时间：
2016-08-23 19:02:21
阅读次数：
162
不管是网站还是app很多产品的设计思路和产品功能多多少少都有相似之处，那么这边主要讲以下几个场景 描述、话题的搜索 主要的实现思路是全量索引＋增量索引方式，可设定时任务定点跑索引 用户昵称的搜索 主要是实现思路是实时索引＋分布式索引的方式，用户由于过多，故使用实时索引的方法进行增加，旧数据通过跑脚本 ...
分类：
其他好文 时间：
2016-07-25 01:40:55
阅读次数：
119
SOLR文档 前言 因为项目中要用到solr，因此花了一周多的时间研究了一下solr，其中的各种问题我就不说了，特别是这两天在研究定时增量索引的时候，心里不知道多少个XXX在奔腾，好了，废话不多说，下面把我得研究成果跟大家分享一下，另外对于SOLR是什么，大家还是自行度娘吧，让我说我也说不清楚。 版 ...
分类：
数据库 时间：
2016-07-07 09:55:08
阅读次数：
235
相关命令及步骤 创建主索引： /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft.conf --all 创建增量索引： 1. 创建测试数据表以及数据 2. 修改配置文件 主索引源:sql_query_pre 增量索引源:sq ...
分类：
其他好文 时间：
2016-06-23 08:48:14
阅读次数：
161
