前言 使用Hadoop进行离线分析或者数据挖掘的project师，常常会须要对Hadoop集群或者mapreduce作业进行性能调优。或许你知道通过浏览器訪问http://master:18088/conf来查看配置信息。例如以下图所看到的： 但是当Linuxproject师们仅仅面对命令行时，怎样 ...
分类：
其他好文 时间：
2018-02-09 20:43:36
阅读次数：
169
Apache Spark 内存管理详解 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的 ...
分类：
Web程序 时间：
2018-02-09 20:38:42
阅读次数：
195
1、基本原理CDN是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。2、安装使用rpm包进行安装需要的软件：varnish-3.0.5-1.el6.x86_64.rpmvarnish-libs-3.0.5-1.el6.x86_64
分类：
其他好文 时间：
2018-02-09 15:36:38
阅读次数：
185
JVM作为java运行的基础，很难相信对于JVM一点都不了解的人可以把java语言吃得很透。jvm不是唯一决定技术能力好坏的面试问题，但是可以佐证java开发能力的高低。 JVM作为java运行的基础，很难相信对于JVM一点都不了解的人可以把java语言吃得很透。jvm不是唯一决定技术能力好坏的面试 ...
分类：
编程语言 时间：
2018-02-05 14:26:47
阅读次数：
163
1.1常用建议1.1.1记大量的笔记（记录所有的事情）在做性能调优问题的时候很重要的一个操作就是记录下所有的事情，包括每一个输出、执行的结果。可以新建一个文件夹，然后把结果的文件都塞到该文件夹内。包括如下：?记录硬件/软件的配置情况，比如dmesg和uname–a的输出?保存并组织性能结果，记录系统配置的同时也要保存测试的结果。?写下命令行调用，可以把复杂的命令写成script或者记录到终端上。?
分类：
系统相关 时间：
2018-02-05 10:35:59
阅读次数：
174
varnish / squid / nginx cache 有什么不同？ SQUID 是功能最全面的，但是架构太老，性能不咋的 Varnish 是内存缓存，速度一流，但是内存缓存也限制了其容量，缓存页面和图片一般是挺好的Nginx 本来是反向代理/web服务器，用了插件可以做做这个副业，但是本身不支 ...
分类：
系统相关 时间：
2018-02-04 19:38:38
阅读次数：
182
36套精品Java高级课，架构课，java8新特性，P2P金融项目，程序设计，功能设计，数据库设计，第三方支付，web安全，高并发，高性能，高可用，分布式，集群，电商，缓存，性能调优，设计模式，项目实战，大型分布式电商项目实战视频教程 新年伊始，学习要趁早，点滴记录，学习就是进步！ QQ：12254 ...
分类：
数据库 时间：
2018-02-03 23:05:41
阅读次数：
470
Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Execut ...
分类：
其他好文 时间：
2018-02-03 16:21:39
阅读次数：
185
一.Squid代理服务器（功能全，速度相对varnish慢）1.装包yum-yinstallsquid2.修改配置文件:vim/etc/squid/squid.confhttp_port80vhost(修改第59行；下面内容自己添加)visible_hostnamewww.haha.com(设置自己的代理服务的名字，用于客户访问代理服务器）cache_peer192.168.2.100parent
分类：
其他好文 时间：
2018-02-02 21:52:06
阅读次数：
109
