数据倾斜 数据倾斜概念 在做计算的时候，数据的分散度不够(数据的Key分布不均)，导致数据分布在一台或几台机器计算 症状：典型的现象就是数据reduce到99%很久不动了 数据倾斜原因 总原因：key分布不均 业务数据的特点（数据的幂律分布） 人为建表的疏忽 join、group by、count ...
分类：
其他好文 时间：
2018-12-22 22:41:16
阅读次数：
242
最近由于某大型网站社区论坛运行效率比较低用户反馈论坛有些卡需要对系统进行优化，论坛性能影响了公司的形象还有网站的流量，当然这也会影响到公司的收入，而且后期还需要长期维护网站的社区论坛服务。 1：并发访问的人多，其实访问的人少，偶尔才被请求几次页面，那是性能一般不会受到多少影响，也没什么技术高要求凑合 ...
分类：
其他好文 时间：
2018-09-01 17:28:47
阅读次数：
183
oracle的执行顺序where子句中的条件是总是优先于其他条件的，并且越靠右越优先，包括group by、order by等子句。 根据执行顺序我们可以总结出许多可以优化查询的规律： 1、将能最快筛选出最少条目的条件放在where条件最右侧 2、not in 和 not exist的区别 not ...
分类：
数据库 时间：
2018-07-11 21:21:43
阅读次数：
171
http://xiaorenwutest.blog.51cto.comMySQL大数据优化以及分解（下篇）前言：在上一章的内容当中说过公司中的数据过大或者访问量过多都会导致数据库的性能降低，过多的损耗磁盘i/o和其他服务器的性能，严重会导致宕机。根据这种情况我们给出了解决方法，那么接下来我们继续：上..
分类：
数据库 时间：
2017-06-23 15:42:55
阅读次数：
230
MySQL大数据的优化以及分解存储前言：在上一章介绍了MySQL的优化以及优化的思路，那么如果有一种情况如果数据库已经建立好了索引，在使用sql语句索引查询时；但是在慢查询日志当中任然找到了之前的sql语句会有哪几种情况：1）：sql语句的索引没有起到效果，2）：查询的数据量过..
分类：
数据库 时间：
2017-06-21 11:40:00
阅读次数：
221
Android优化 最常见的就是ListView, Gallery, GridView, ViewPager 的大数据优化 图片优化 访问网络的优化优化的原则： 数据延迟加载 分批加载 本地缓存数据优化 1).复用contentview 2).创建static class ViewH...
分类：
移动开发 时间：
2015-09-22 18:42:41
阅读次数：
157
（一） mysql limit大数据量分页优化方法
首先创建一个表
CREATE TABLE `ipdatas` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`uid` int(8) NOT NULL DEFAULT '0',
`ipaddress` varchar(50) NOT NULL,
`source` varchar(255) D...
分类：
数据库 时间：
2015-06-28 15:39:59
阅读次数：
168
Android优化 最常见的就是ListView, Gallery, GridView, ViewPager 的大数据优化 图片优化 访问网络的优化优化的原则： 数据延迟加载 分批加载 本地缓存数据优化 1).复用contentview 2).创建static class ViewH...
分类：
移动开发 时间：
2015-06-15 23:31:33
阅读次数：
186
大数据量的系统的数据库结构如何设计：1、把你表中经常查询的和不常用的分开几个表，也就是横向切分2、把不同类型的分成几个表，纵向切分3、常用联接的建索引4、服务器放几个硬盘，把数据、日志、索引分盘存放，这样可以提高IO吞吐率5、用优化器，优化你的查询6、考虑冗余，这样可以减少连接7、可以考虑建立统计表...
分类：
数据库 时间：
2015-04-24 18:28:26
阅读次数：
179
