淘宝根据自己的业务特点开发了TDDL(Taobao Distributed Data Layer 外号:头都大了 ©_Ob)框架,主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制,它是一个基于集中式配置的 jdbc datasource实现,具有主备,读写分离,动态数据库配置等功能。TD...
分类:
其他好文 时间:
2014-11-15 12:41:21
阅读次数:
284
最近着手个项目,整体数据量有5亿多,每个月增量9000w。应用场景是Oltp 根据用户id直接计算各种维度值。因为是Oltp 场景,直接根据用户id %2000分(方便后续横向扩展),有些喜欢扯分区表的或者顺序分表的请复习下数据库原理以及硬件原理。分完表oltp 访问速度上了几个level。但是.....
分类:
其他好文 时间:
2014-11-15 06:31:29
阅读次数:
208
今天晚上把ThinkPHP的权限分配弄明白了,心里的包袱立刻放下了,感觉那个爽啊!稍微记录一下。背景:CMS系统开发(17do)。项目分组:Admin(后台管理)、Home(前台显示)。Admin组中包含ManagerAction、UserActin、ArticleAction三个控制器第一部分:表...
分类:
Web程序 时间:
2014-11-14 17:16:30
阅读次数:
227
1、C#三层架构 C#三层架构急表示层(UI,User Interface),业务逻辑层(BLL BusinessLogicLayer),数据访问层(DAL Data Access Layer)。三层的划分是物理上的划分。表示层(UI),这个最容易理解,就是用户看到的主界面。数据访问层(DAL),也...
这段时间一直在忙着重构公司之前的搜索业务这块,由于公司之前的搜索使用的是基于mysql的方案,因为里面涉及到一些主从搜索,分表搜索,索引整体上比较复杂,重构期间要花很多时间理解业务跟数据表之间的关系,理清之后呢,还要结合elasticsearch的特性开始重构整个搜索平台。..
分类:
其他好文 时间:
2014-11-11 12:52:25
阅读次数:
145
题意读了半年,唉,给你两串字符,然后长度不同,你能够用‘-’把它们补成同样长度,补在哪里取决于得分,它会给你一个得分表,问你最大得分跟LCS非常像的DP数组 dp[i][j]表示第一个字符串取第i个元素第二个字符串取第三个元素,然后再预处理一个得分表加上就可以得分表:score['A']['A'] ...
分类:
其他好文 时间:
2014-11-10 17:17:49
阅读次数:
161
http://blog.51yip.com/mysql/949.htmlCSDN -Mysql MERGE分表对大数据量的处理实战经验:要分表的表引擎必须是myisam类型的,用innodb引擎用不了merge方法。
分类:
数据库 时间:
2014-11-09 09:45:11
阅读次数:
155
1、分库分表很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从members0到members...
分类:
数据库 时间:
2014-11-08 23:29:09
阅读次数:
372
一,先说一下为什么要分表当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。根据个人经验,mysql执行一个sql的过程如下:1,接收到sql;2,把sql放到排队队列中 ;3,执行sql;4,返回执行...
分类:
数据库 时间:
2014-11-06 12:41:39
阅读次数:
228
1.背景: 在 Discuz! X2 中,将原有的1个附件表和1个附件描述表合并,然后分为了 11 个表,在很大程度上加强了论坛对于附件数据量的支持,同时减轻在附件记录非常多的情况下,造成服务器负载比较高的问题。 同时增...
分类:
Web程序 时间:
2014-11-05 19:57:07
阅读次数:
219