为此我们需要一种应对于海量数据场景的去重方案，经过研究发现有种叫 local sensitive hash 局部敏感哈希 的东西，据说这玩意可以把文档降维到hash数字，数字两两计算运算量要小很多。查找很多文档后看到google对于网页去重使用的是simhash，他们每天需要处理的文档在亿级别，大大 ...
分类：
编程语言 时间：
2018-09-05 17:28:37
阅读次数：
1001
【原文】https://www.toutiao.com/i6594314336913588743/ mysql如何处理亿级数据，第一个阶段——优化SQL语句 1、应尽量避免在 where 子句中使用!=或操作符，否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化，应尽量避免全表扫描，首先应考... ...
分类：
数据库 时间：
2018-09-01 15:57:34
阅读次数：
174
限流是高可用服务需要具备的能力之一 ，粗暴简单的就像我们之前做的并发数控制。好一点的有tps限流，可用令牌桶等算法实现。《亿级流量网站架构核心技术》一书P67限流详解也有讲。dubbo提供了此机制，TpsLimitFilter。guava也提供了相应的工具类RateLimiter。 1. dubbo ...
分类：
其他好文 时间：
2018-08-31 21:24:58
阅读次数：
331
在数据规模越来越大、数据结构越来越复杂的大数据时代，传统的关系型数据暴露出了建模缺陷、水平伸缩等问题，于是具有更强大表达能力的图数据受到业界极大的重视。如果把关系数据模型比做火车的话，那么现在的图数据建模可比做高铁。 什么是图呢？ 图（Graph），将信息中的实体，以及实体之间的关系，分别抽象表达成 ...
分类：
其他好文 时间：
2018-08-29 14:16:24
阅读次数：
198
随着数据已经逐步成为一个公司宝贵的财富，大数据团队在公司往往会承担更加重要的角色。根据七牛云在日增千亿级的日志分析工作，资深数据架构师崔文正为大家分享了大数据技术架构选型的一些经验。
分类：
其他好文 时间：
2018-08-22 18:26:24
阅读次数：
197
微博日活跃用户 1.6 亿+，每日访问量达百亿级，面对庞大用户群的海量访问，良好的架构且不断改进的缓存体系具有非常重要的支撑作用。 本文由新浪微博技术专家陈波老师，分为如下四个部分跟大家详细讲解那些庞大的数据都是如何呈现的： 微博在运行过程中的数据挑战 Feed 平台系统架构 Cache 架构及演进 ...
分类：
其他好文 时间：
2018-08-20 15:44:46
阅读次数：
185
内容持续更新 小型电商： 静态模板是固定的 数据库中的数据全量喧嚷到模板中，下次请求来了直接返回，速度也很快； 当数据上亿的时候，如果模板改定，把这些所有的数据在mysql中渲染进模板，非常耗时，不现实； 大型电商： 缓存数据生产服务； 不需要再进行全量重新渲染，直接将最新的html模板推送到ngi ...
分类：
其他好文 时间：
2018-08-19 00:51:15
阅读次数：
212
分布式事务之TCC服务设计和实现注意事项 事务自动补偿方案 这个需求我不接之事务自动补偿 蚂蚁金服黑科技：SOFA DTX分布式事务，保障亿级资金操作一致性 分布式事务：蚂蚁金服核心金融场景下的演进 分布式系统的事务处理 分布式事务 ( DTS ) 你必须知道的事儿 https://www.clou ...
分类：
其他好文 时间：
2018-08-18 11:40:15
阅读次数：
230
1 需求背景 该应用场景为AdMaster DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称admckid）的mapping关系，还包括了admckid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、i ...
分类：
其他好文 时间：
2018-08-16 13:51:03
阅读次数：
213
从入职京东到现在，做读服务已经一年多的时间了，经历了各种亿级到百亿级的读服务；这段时间也进行了一些新的读服务架构尝试，从架构到代码的编写，各个环节都进行了反复尝试，压测并进行调优，希望得到一个自己满意的读服务架构。 一些设计原则 无状态 数据闭环 缓存银弹 并发化 降级开关 限流 切流量 其他 无状 ...
分类：
其他好文 时间：
2018-08-14 14:58:19
阅读次数：
163
