本文源自今年系统架构师大会，我在会上分享《数据库工程架构实践》的前3页PPT，数据库架构设计中的一些基本概念。画外音：会上分享了近4个小时，见《十年》。所有概念均以“用户中心”举例。画外音：这是一个提供用户注册、登录、信息查询与修改的常见业务。一、单库架构单库架构，是业务初期最常见的数据库架构。user-service：用户中心服务，对调用者提供友好的RPC接口user-db：一个库进行数据存储二
分类：
数据库 时间：
2020-11-10 11:35:42
阅读次数：
61
本文源自今年系统架构师大会，我在会上分享《数据库工程架构实践》的前3页PPT，数据库架构设计中的一些基本概念。画外音：会上分享了近4个小时，见《十年》。所有概念均以“用户中心”举例。画外音：这是一个提供用户注册、登录、信息查询与修改的常见业务。一、单库架构单库架构，是业务初期最常见的数据库架构。user-service：用户中心服务，对调用者提供友好的RPC接口user-db：一个库进行数据存储二
分类：
数据库 时间：
2020-11-10 11:35:29
阅读次数：
25
继续回答星球水友提问：沈老师，MyISAM只支持表锁，但网上文章却说，在并发插入量比较大的时候，比较适合使用MyISAM，这矛盾吗？这个问题，涉及MySQL表锁的一些细节，借着这个问题，系统性说下表锁的“所以然”。画外音：网上不少文章只说结论，不说为什么，容易让人蒙圈。MySQL表锁知识系统性梳理。哪些存储引擎使用表锁？MySQL，除InnoDB支持行锁外，MySQL的其他存储引擎均只使用表锁，例
分类：
数据库 时间：
2020-11-10 11:33:20
阅读次数：
13
继续回答星球水友提问：沈老师，我听网上说，MySQL数据表，在数据量比较大的情况下，主键不宜过长，是不是这样呢？这又是为什么呢？这个问题嘛，不能一概而论：（1）如果是InnoDB存储引擎，主键不宜过长；（2）如果是MyISAM存储引擎，影响不大；先举个简单的栗子说明一下前序知识。假设有数据表：t(idPK,nameKEY,sex,flag);其中：（1）id是主键;（2）name建了普通索引;假设
分类：
数据库 时间：
2020-11-10 11:33:03
阅读次数：
12
继续答星球水友提问，30WQPS的点赞计数业务，如何设计？可以看到，这个业务的特点是：（1）吞吐量超高；（2）能够接受一定数据不一致；画外音：计数有微小不准确，不是大问题。先用最朴素的思想，只考虑点赞计数，可以怎么做？有几点是最容易想到的：（1）肯定不能用数据库抗实时读写流量；（2）redis天然支持固化，可以用高可用redis集群来做固化存储；（3）也可以用MySQL来做固化存储，redis做缓
分类：
其他好文 时间：
2020-11-10 11:30:42
阅读次数：
6
==星球水友提问==沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询，紧接着又来了
分类：
其他好文 时间：
2020-11-10 11:30:25
阅读次数：
10
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。需求：（1）按照某些特定检索条件查询日志；（2）通过前台Web页面查询并显示相关日志信息；（3）检索需求包含用户，时间段区间，类型等特定字段；希望做到：（1）查询速度尽可能快；（2）支持分页查询；目前方案：日志信息存储在Oracle中，根据日期对Oracle做了分区处理，每天生成一个分区表，每个分区表中的数据总量大概在1000W左右。在相
分类：
其他好文 时间：
2020-11-10 11:30:08
阅读次数：
11
互联网业务，绝大部分场景，会使用缓存服务。《选redis还是memcache，源码怎么说？》《选redis还是mc，面试官究竟想考察啥？》《memcache内核的知识点，值得收藏》但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storagelibrary)，它支持字符串的key
分类：
数据库 时间：
2020-11-10 11:29:35
阅读次数：
12
上篇《缓冲池(bufferpool)，彻底懂了！》介绍了InnoDB缓冲池的工作原理。简单回顾一下：（1）MySQL数据存储包含内存与磁盘两个部分；（2）内存缓冲池(bufferpool)以页为单位，缓存最热的数据页(datapage)与索引页(indexpage)；（3）InnoDB以变种LRU算法管理缓冲池，并能够解决“预读失效”与“缓冲池污染”的问题；画外音：细节详见《缓冲池(bufferp
分类：
其他好文 时间：
2020-11-10 11:28:25
阅读次数：
7
Celery 1.什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 Celery架构 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（ta ...
分类：
其他好文 时间：
2020-11-10 11:18:05
阅读次数：
9
