一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。对于version+ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手
分类：
其他好文 时间：
2020-11-18 13:05:44
阅读次数：
10
一、什么是高并发高并发（HighConcurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。高并发相关常用的一些指标有响应时间（ResponseTime），吞吐量（Throughput），每秒查询率QPS（QueryPerSecond），并发用户数等。响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请求需要200ms，这
分类：
其他好文 时间：
2020-11-18 13:05:25
阅读次数：
6
一、问题的提出询问框架组件，是否需要自研？18年规划系统介绍58到家的技术体系，15年加盟58到家后，架构部正好也是负责范围的一部分，故谈一谈自己的想法，个人观点：如果公司业务不复杂，研发人数比较少，技术实力相对有限，一定不要自研框架组件如果公司业务复杂，研发人数比较多，技术能力能够胜任，建议自研部分框架组件二、为什么早期不建议自研？早期研发人数较少，公司也不确定能走多远，业务相对简单，业务以“快
分类：
其他好文 时间：
2020-11-18 12:55:38
阅读次数：
10
WEB端系统，经常会有一些导出功能。这些功能的导出，是后台经过各种拼装，以数据流的形式进行下载。这个过程，会随着数据量的增加，对服务器产生较大压力且下载时间变长。有时并发下载就会导致系统变的特别慢。为此，需要对导出功能进行下性能测试。 一、下载的关键 导出性能下载测试需要通过“BeanShell 取 ...
分类：
其他好文 时间：
2020-11-18 12:30:25
阅读次数：
6
1、进入hbase shell 报内存不足 描述 做hbase数据迁移的时候，需要在目标集群创建与源端集群相同的表以及表属性，同时通过bulkload的方式加载数据。 目前迁移开启十个并发，一共迁移4千张表，失败了200+表的迁移。 看来这种迁移还是不能起太多并发，否则导致hbase regions ...
分类：
其他好文 时间：
2020-11-18 12:27:59
阅读次数：
7
2017精选索引，入选规则为：截止至2017年12月28日文章截止到发文，阅读1W+【架构必备】《互联网架构如何实现“高并发”》4W+《TCP接入层的负载均衡、高可用、扩展性架构设计》2.2W+《配置中心架构设计演进》1.7W+《跨公网调用的大坑与架构优化》1.4W+《DNS在架构设计中的巧用》1.9W+《消息如何在网络上安全传输》1.2W+《10W定时任务，如何高效触发》2.9W+《工作线程究竟
分类：
其他好文 时间：
2020-11-18 12:18:05
阅读次数：
2
RD：单库数据量太大，数据库扛不住了，我要申请一个数据库从库，读写分离。DBA：数据量多少？RD：5000w左右。DBA：读写吞吐量呢？RD：读QPS约200，写QPS约30左右。上周在公司听到两个技术同学讨论，感觉对读写分离解决什么问题没有弄清楚，有些奔溃。另，对于互联网某些业务场景，并不是很喜欢数据库读写分离架构，一些浅见见文末。一、读写分离什么是数据库读写分离？答：一主多从，读写分离，主动同
分类：
数据库 时间：
2020-11-17 13:03:37
阅读次数：
27
前 看了前几篇随笔，感觉有点翻译的味道，以后我尽量避免。 这次我们要看的是关于数据库的并行控制的paper，是1976年的老文章了。这篇paper分为两个部分，第一部分介绍多粒度锁，讲的是在继承结构下的加锁方法，第二部分介绍关于多层级的isolation。 多粒度锁 直觉上，排外锁（X）和共享锁（S ...
分类：
其他好文 时间：
2020-11-17 12:46:44
阅读次数：
8
MySQL主从复制，读写分离是互联网常见的数据库架构，该架构最令人诟病的地方就是，在数据量较大并发量较大的场景下，主从延时会比较严重。为什么主从延时这么大？答：MySQL使用单线程重放RelayLog。应该怎么优化，缩短重放时间？答：多线程并行重放RelayLog可以缩短时间。多线程并行重放RelayLog有什么问题？答：需要考虑如何分割RelayLog，才能够让多个数据库实例，多个线程并行重放R
分类：
数据库 时间：
2020-11-17 12:10:49
阅读次数：
12
近一个多月，写了一些MySQL内核的文字，稍作总结，希望对大家有帮助。1.《InnoDB，为何并发如此之高？》文章介绍了：（1）什么是并发控制；（2）并发控制的常见方法：锁，数据多版本；（3）redo，undo，回滚段的实践；（4）InnoDB如何利用回滚段实现MVCC，实现快照读。结论是，快照读(SnapshotRead)，这种不加锁的读，是InnoDB高并发的核心原因之一。番外篇：《快照读，在
分类：
数据库 时间：
2020-11-17 12:10:05
阅读次数：
12
