1.分片内部基本结构 在一个分片中（Lucene），数据（数据原文和倒排索引）以段为单位存储，只有成为段的数据才能被检索。 因为文档先被缓存在内存中，创建倒排索引和其他索引结构之后才会成为段，才能被检索 就像下图中文档先被写入内存，为文档构建一系列索引之后成为段，并且写入磁盘，只有段才是 Searc ...
分类：
Web程序 时间：
2020-11-17 12:23:50
阅读次数：
17
可能99%的同学不做搜索引擎，但99%的同学一定实现过检索功能。搜索，检索，这里面到底包含哪些技术的东西，希望本文能够给大家一些启示。全网搜索引擎架构与流程如何？全网搜索引擎的宏观架构如上图，核心子系统主要分为三部分（粉色部分）：（1）spider爬虫系统；（2）search&index建立索引与查询索引系统，这个系统又主要分为两部分：一部分用于生成索引数据build_index一部分用于
分类：
其他好文 时间：
2020-11-16 13:57:29
阅读次数：
12
Rowkey设计时需要遵循三大原则： 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流，可以是 ...
分类：
其他好文 时间：
2020-11-13 13:05:38
阅读次数：
7
继续回答星球水友提问。沈哥，我们有个业务，类似于“标题分词检索”，并发量非常大，大概20W次每秒，数据量不是很大，大概500W级别，而且数据不会频繁更新，平均每天更新一次，请问有什么好的方案么？这是一个典型的，短文本分词搜索的问题，简单聊聊自己的经验。常见的文本检索方案有哪些？（1）数据库LIKE法将标题数据存放在数据库中，使用like来查询，方案非常简单，能支持简单的模糊搜索，但不支持分词。画外
分类：
其他好文 时间：
2020-11-10 11:31:19
阅读次数：
7
==星球水友提问==沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询，紧接着又来了
分类：
其他好文 时间：
2020-11-10 11:30:25
阅读次数：
10
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。需求：（1）按照某些特定检索条件查询日志；（2）通过前台Web页面查询并显示相关日志信息；（3）检索需求包含用户，时间段区间，类型等特定字段；希望做到：（1）查询速度尽可能快；（2）支持分页查询；目前方案：日志信息存储在Oracle中，根据日期对Oracle做了分区处理，每天生成一个分区表，每个分区表中的数据总量大概在1000W左右。在相
分类：
其他好文 时间：
2020-11-10 11:30:08
阅读次数：
11
Haystack 1.什么是Haystack Haystack是django的开源全文搜索框架(全文检索不同于特定字段的模糊查询，使用全文检索的效率更高 )，该框架支持Solr,Elasticsearch,Whoosh, Xapian，搜索引擎它是一个可插拔的后端（很像Django的数据库层），所以 ...
分类：
其他好文 时间：
2020-11-10 11:17:18
阅读次数：
8
##1、redsi的bitmap数据结构介绍 bitmap本质上是一个string类型，只是他操作的是string的某个位是0还是1。 setbit和getbit 两条命令是对字符串的位操作。每个位只能是0/1，然后用Bitcount命令计算这个key有多少个1。 例如执行 setbit 'a' 1 ...
分类：
其他好文 时间：
2020-11-07 16:34:29
阅读次数：
28
基于MVC的RESTful风格的实现 1.RESTful风格阐述 REST服务是一种ROA(Resource-Oriented Architecture,面向资源的架构)应用。主要特点是方法信息存在于HTTP协议的方法中（GET,POST,PUT,DELETE），作用域存在于URL中。例如，在一个获 ...
第六章、低级程序设计语言与伪代码 6·1计算机操作: 计算机的定义： 能够存储，检索和处理数据的可编程电子设备。 可编程的（programmable) 存储(store) 检索(retrieve) 处理(process) 存储，检索和处理是计算机对数据能够执行的动作。 6·2机器语言： 机器语言（m ...
分类：
其他好文 时间：
2020-10-30 12:50:31
阅读次数：
22
