1.使用PHP的创始人 Rasmus Lerdorf 写的APC扩展模块来实现(http://pecl.php.net/package/apc) APC实现方法: 安装APC,参照官方文档安装,可以使用PECL模块安装方法快速简捷,这里不说明 配置php.ini,设置参数 apc.rfc1867=1 ...
分类:
Web程序 时间:
2020-11-20 12:17:47
阅读次数:
30
最近遇见一个需要上传超大大文件的需求,调研了七牛和腾讯云的切片分段上传功能,因此在此整理前端大文件上传相关功能的实现。 在某些业务中,大文件上传是一个比较重要的交互场景,如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大,或者网络条件不好时,上传的时间会比较长(要传输更多的报文 ...
分类:
Web程序 时间:
2020-11-18 12:30:43
阅读次数:
18
RD:单库数据量太大,数据库扛不住了,我要申请一个数据库从库,读写分离。DBA:数据量多少?RD:5000w左右。DBA:读写吞吐量呢?RD:读QPS约200,写QPS约30左右。上周在公司听到两个技术同学讨论,感觉对读写分离解决什么问题没有弄清楚,有些奔溃。另,对于互联网某些业务场景,并不是很喜欢数据库读写分离架构,一些浅见见文末。一、读写分离什么是数据库读写分离?答:一主多从,读写分离,主动同
分类:
数据库 时间:
2020-11-17 13:03:37
阅读次数:
27
1.分片内部基本结构 在一个分片中(Lucene),数据(数据原文和倒排索引)以段为单位存储,只有成为段的数据才能被检索。 因为文档先被缓存在内存中,创建倒排索引和其他索引结构之后才会成为段,才能被检索 就像下图中文档先被写入内存,为文档构建一系列索引之后成为段,并且写入磁盘,只有段才是 Searc ...
分类:
Web程序 时间:
2020-11-17 12:23:50
阅读次数:
17
JUC 下面还有一个系列的类,都是 CopyOnWriteXXX ,意思是写时复制,这个究竟是怎么回事?那就以 CopyOnWriteArrayList 为切入点,一起了解写时复制是怎么回事? ...
分类:
其他好文 时间:
2020-11-13 13:18:21
阅读次数:
34
一、基本概念概念一:单库概念二:分片分片解决“数据量太大”这一问题,也就是通常说的“水平切分”。一旦引入分片,势必面临“数据路由”的新问题,数据到底要访问哪个库。路由规则通常有3种方法:(1)范围:range优点:简单,容易扩展。缺点:各库压力不均(新号段更活跃)。(2)哈希:hash优点:简单,数据均衡,负载均匀。缺点:迁移麻烦(2库扩3库数据要迁移)。(3)统一路由服务:router-conf
分类:
数据库 时间:
2020-11-10 11:28:38
阅读次数:
11
聊聊用UUID/GUID作为主键那些坑访问欠友好的UUID我刚读了一篇有关如何扩展数据库的文章,作者建议将UUID(类似于GUID)用作数据库表的主键(PK)。使用UUID的优点与自动递增整数相比,将UUID用作主键的优点很多:适合大规模数据。当你把数据分片(例如一组客户数据)存在多个数据库时,使用UUID意味着ID在所有数据分片中都是唯一,而不仅仅是当前那个分片所在数据库。这使得跨数据库移动更为
分类:
其他好文 时间:
2020-11-08 16:33:31
阅读次数:
20
一、计算机基础存储器的层次结构L0寄存器L1L1高速缓存SRAML2L2高速缓存SRAML3L3高速缓存SRAML4主存DRAML5本地二级存储本地磁盘L6远程二级存储web服务器重要概念并发:把CPU的时间进行分片,让各个程序在CPU上轮转,造成一种多个程序同时在运行的假象多线程:需要多个进程,保存程序执行的现场缓存:保存非持久化数据,支持大量的并发访问异步:遇到I/O操作,程序就注册一个钩子函
分类:
系统相关 时间:
2020-11-07 15:34:23
阅读次数:
20
2PC之踵?是时候升级二阶段提交协议了两阶段提交协议(2PC)已经在企业软件系统中使用了三十多年。它是一种非常有影响力的协议,用于确保访问多个分区或分片中的数据的事务的原子性和持久性。它无处不在-无论是在旧的“古老的”分布式系统、数据库系统和文件系统,如Oracle,IBMDB2,PostgreSQL和MicrosoftTxF(支持事务的NTFS)还是在较年轻的“千禧”系统如MariaDB、Tok
分类:
其他好文 时间:
2020-11-06 01:05:12
阅读次数:
16
引言我在《那些年用过的Redis集群架构(含面试解析)》一文里提到过,现在redis集群架构,rediscluster用的会比较多。如下图所示对于客户端请求的key,根据公式HASH_SLOT=CRC16(key)mod16384,计算出映射到哪个分片上,然后Redis会去相应的节点进行操作!那大家思考过,为什么有16384个槽么?ps:CRC16算法产生的hash值有16bit,该算法可以产生2
分类:
其他好文 时间:
2020-11-01 21:06:55
阅读次数:
23