大数据量的查询，不仅查询速度非常慢，而且还会导致数据库经常宕机（刚接到这个项目时候，数据库经常宕机o(╯□╰)o）。 那么，如何处理上亿级的数据量呢？如何从数据库经常宕机到上亿数据秒查？仅以此篇文章作为处理的总结。 数据背景：下面是存放历史数据表的数据量，数据量确实很大，3亿多条。但这也仅仅是测试数 ...
分类：
数据库 时间：
2019-02-15 15:19:57
阅读次数：
430
搞懂分布式技术9：Nginx负载均衡原理与实践 本篇摘自《亿级流量网站架构核心技术》第二章 Nginx负载均衡与反向代理 部分内容。 当我们的应用单实例不能支撑用户请求时，此时就需要扩容，从一台服务器扩容到两台、几十台、几百台。然而，用户访问时是通过如的方式访问，在请求时，浏览器首先会查询DNS服务 ...
分类：
其他好文 时间：
2019-02-08 21:35:14
阅读次数：
239
前言 我一直负责公司的 nginx 日志收集，现在每天的 pv 数在10亿级别，存储大概1T（ 2 默认的 elasticsearch 5分片2副本）不到，因为开始的时候 nginx 日志也是逐渐收集的，因为是第一次做问题也比较多，想着等着我们的 ELK 平台成熟了再接应用的日志。 当前的问题 如果 ...
分类：
其他好文 时间：
2019-02-06 19:55:36
阅读次数：
207
本文作者张开涛。为保障《亿级流量网站架构核心技术》一书内容的连续性，有些需要读者了解的内容，或者书的补充和引申内容，会通过二维码嵌入的方式引导读者阅读学习。大家可以关注作者公众号“开涛的博客”，并从菜单栏“我的新书”中查阅相关内容。 本文是「4.4 接入层限流」节中的「按照IP限制并发连接数配置示例 ...
分类：
其他好文 时间：
2019-02-03 12:31:43
阅读次数：
186
本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说，老司机们座好了，我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块，分别提供不同的功能 Filebeat： ...
分类：
其他好文 时间：
2019-02-02 14:34:07
阅读次数：
201
微博日活跃用户1.6亿+，每日访问量达百亿级，面对庞大用户群的海量访问，良好架构且不断改进的缓存体系具有非常重要的支撑作用。 4月21日，中生代技术走进盒子科技的现场技术交流活动上，新浪微博技术专家陈波为大家讲解了微博Cache架构的设计实践过程。 刷微博吗？跟我们一起听听那些庞大的数据是如何呈现的 ...
分类：
其他好文 时间：
2019-01-26 00:24:18
阅读次数：
255
微博Rss邮箱推送 :raising_hand: Weibo subscription and sentiment analysis. 假期在家无聊，想到做一个微博订阅系统，可以将朋友or女朋友的微博更新动态通过邮件推送给我。 就是这样，代码已经写好了，就差个女朋友了。 最后的效果就是实时检测某一微 ...
分类：
其他好文 时间：
2019-01-25 16:01:55
阅读次数：
969
疯狂创客圈 Java 分布式聊天室【 亿级流量】实战系列之 31【 "博客园 总入口" 】 [toc] 写在前面 ? 大家好，我是作者尼恩。目前和几个小伙伴一起，组织了一个高并发的实战社群【疯狂创客圈】。正在开始 高并发、亿级流程的 IM 聊天程序 学习和实战 有的小伙伴对帧解码器FrameDeco ...
分类：
数据库 时间：
2019-01-20 15:08:34
阅读次数：
186
Infobright是一个基于MySQL开发的开源数据仓库（Data Warehouse）软件，可作为MySQL的一个存储引擎来使用，SELECT查询与普通MySQL无区别。 优点：查询性能高：百万、千万、亿级记录数条件下，同等的SELECT查询语句，速度比MyISAM、InnoDB等普通的MySQ ...
分类：
数据库 时间：
2019-01-18 12:12:59
阅读次数：
210
继快手、火山小视频等短视频程序火爆后，源源不断的程序揭竿而起，短视频行业更是火爆异常，吸引了越来越多的中小型创业企业家加入这个行业，使得这个行业更是火上加火。短视频则处于上行的风口上。相对直播的用户规模，短视频还处于迅速增长的人口红利期，增长曲线还远未到顶。短视频在定位上很好的开放了对普通大众的门槛，不看颜值如何，短视频为人人都可以是主角成为了很好的舞台，在这个舞台上每个人都可以尽力表现，因此短视
分类：
其他好文 时间：
2019-01-17 15:15:04
阅读次数：
207
