Hive优化总结---by 食人花优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对j...
分类：
其他好文 时间：
2014-07-22 22:55:15
阅读次数：
271
gprof,oprofile，perf的使用 gprof 用户手册?http://sourceware.org/binutils/docs-2.17/gprof/index.html oprofile官方站点?http://oprofile.sourceforge.net/ 使用 GNU profiler 来提高代码运行速度?http://...
分类：
其他好文 时间：
2014-07-22 08:10:37
阅读次数：
160
优化nginx包括两方面： 1.是自己重写nginx代码(比如tengine)、本身nginx的代码已经足够优秀，如果不是每秒几千的请求，就忽略这个部分吧。 2.另一个就是和优化nginx的配置，这是中小型网站可以重点优化的部分。 ...
分类：
其他好文 时间：
2014-07-21 10:16:28
阅读次数：
165
MySQL是一个功能强大的开源数据库. 随着越来越多的数据库驱动的应用程序，人们一直在推动MySQL发展到它的极限. 这里是101条调节和优化MySQL安装的技巧. 一些技巧是针对特定的安装环境的，但这些思路是通用的. 我已...
分类：
数据库 时间：
2014-07-21 10:12:42
阅读次数：
242
1、筹划数据库，确定数据库的使用目的，根据这一目的来觉得数据库的类型。是选择联机事务处理系统（OLTP）还是决策支持系统（DSS数据 仓库系统）。这两类系统是完全不同的系统，其调优策略是背道而驰的。在选择数据库的类型是最好不要选择通用型的general purpose，因为这种类型的数据库在管理和维...
分类：
数据库 时间：
2014-07-19 21:01:35
阅读次数：
316
Tomcat性能调优方案一、操作系统调优对于操作系统优化来说，是尽可能的增大可使用的内存容量、提高CPU的频率，保证文件系统的读写速率等。经过压力测试验证，在并发连接很多的情况下，CPU的处理能力越强，系统运行速度越快。。【适用场景】 任何项目。二、Java虚拟机调优应该选择SUN的JVM，在满足项...
分类：
其他好文 时间：
2014-07-19 16:20:21
阅读次数：
213
JAVA 性能调优和GChttp://blog.csdn.net/gzh0222/article/details/7663181JAVA GC调优手记http://blog.csdn.net/firecoder/article/details/7225654JAVA GC 日志详解http://bl...
分类：
编程语言 时间：
2014-07-18 21:00:42
阅读次数：
290
最近在给一个客户做调优的时候发现一个很有意思的现象，对于一个复杂查询（涉及12个表）建立必要的索引后，语句使用的IO急剧下降，但执行时间不降反升，由原来的8秒升到20秒。 通过观察执行计划，发现之前的执行计划在很多大表连接的部分使用了Hash Join，由于涉及的表中数据众多，因此查询优化器选择使用...
分类：
数据库 时间：
2014-07-18 08:01:44
阅读次数：
346
反向代理缓存：nginx做为反向代理时，能够将来自upstream的响应缓存至本地，并在后续的客户端请求同样内容时直接从本地构造响应报文。可以在http全局配置内定义缓存。http{proxy_cache_path/tmp/nginx/cachelevels=1:2keys_zone=cone:10mmax_size=1g;}在Server里调用。server{l..
分类：
其他好文 时间：
2014-07-17 10:47:33
阅读次数：
536
TCP/IP建立连接的三次握手过程：建立TCP连接共需要三个packetClient-->syn=1，ack=0,fin=0-->ServerClient<--syn=1，ack=1,fin=0<--ServerClient-->syn=0，ack=1,fin=0-->ServerTCP/IP关闭连接的四个过程:关闭TCP连接需要四个packet：Client-->FIN-->S..
分类：
系统相关 时间：
2014-07-16 13:18:13
阅读次数：
375
