是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录sbin=`dirname "$0"` sbin=`cd "$sbin"; pwd`代码评注:# 以上代码为获取执行脚本所在的目录的常用技巧# sbin=$(dirname $0) ...
分类：
其他好文 时间：
2014-07-18 19:16:52
阅读次数：
239
来自：Linux中国2014-07-1600:00:00edHatEnterpriseLinux 7.0 是 Red Hat 的下一代操作系统完整套件，旨在用于关键任务企业级计算以及顶级企业级软件和硬件零售商认证。集群是多台计算机（节点）一同工作以便提高重要产品服务的可靠性、可扩展性和可用性。可将使...
分类：
其他好文 时间：
2014-07-18 14:33:39
阅读次数：
271
前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w.....
分类：
其他好文 时间：
2014-07-17 23:26:44
阅读次数：
345
LZO压缩，可分块并行处理，解压缩的效率也是可以的。为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正...
分类：
其他好文 时间：
2014-07-17 22:01:19
阅读次数：
876
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲： 第一步：搭建H...
分类：
其他好文 时间：
2014-07-17 21:35:29
阅读次数：
389
cluster集群要实现vmotion、DRS、HA等功能，EXSI主机必须是两台或以上的数量。那怎么判断vmotion等漂移功能在哪些主机执行的呢？这就引出了集群cluster的概念。所有基于vmotion的功能都是在集群内的EXSI主机实现的，VM只会在集群内做漂移。所有EXSI主机加入集群后，CPU、内存等..
分类：
其他好文 时间：
2014-07-17 20:31:28
阅读次数：
278
cluster集群要实现vmotion、DRS、HA等功能，EXSI主机必须是两台或以上的数量。那怎么判断vmotion等漂移功能在哪些主机执行的呢？这就引出了集群cluster的概念。所有基于vmotion的功能都是在集群内的EXSI主机实现的，VM只会在集群内做漂移。所有EXSI主机加入集群后，CPU、内存等..
分类：
其他好文 时间：
2014-07-17 20:20:52
阅读次数：
194
如果你对web聊天这个事情没什么概念，那么最佳做法可能是：openfire+jsjac...
分类：
Web程序 时间：
2014-07-17 19:18:56
阅读次数：
230
一、介绍LVS是LinuxVirtualServer的简写，即Linux虚拟服务器，是一个虚拟的服务器集群系统。该项目由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。使用LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有..
分类：
其他好文 时间：
2014-07-17 16:04:36
阅读次数：
537
