是针对单个作业，针对本job再怎么优化也不会影响到其他job；Hadoop的负载主要有两部分：CPU负载和IO负载；问题：机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出。集群中的机器...
分类：
其他好文 时间：
2014-07-18 20:29:09
阅读次数：
384
前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录sbin=`dirname "$0"` sbin=`cd "$sbin"; pwd`代码评注:# 以上代码为获取执行脚本所在的目录的常用技巧# sbin=$(dirname $0) ...
分类：
其他好文 时间：
2014-07-18 19:16:52
阅读次数：
239
MongoDB 是一个跨平台的，面向文档的数据库，提供高性能，高可用性和可扩展性方便。 MongoDB 工作在收集和文件的概念。数据库：数据库是一个物理容器集合。每个数据库都有自己的一套文件系统上的文件。一个单一的MongoDB服务器通常有多个数据库。 集合：集合是一组MongoDB的文档。它相当于...
分类：
数据库 时间：
2014-07-18 08:17:50
阅读次数：
239
前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w.....
分类：
其他好文 时间：
2014-07-17 23:26:44
阅读次数：
345
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲： 第一步：搭建H...
分类：
其他好文 时间：
2014-07-17 21:35:29
阅读次数：
389
cluster集群要实现vmotion、DRS、HA等功能，EXSI主机必须是两台或以上的数量。那怎么判断vmotion等漂移功能在哪些主机执行的呢？这就引出了集群cluster的概念。所有基于vmotion的功能都是在集群内的EXSI主机实现的，VM只会在集群内做漂移。所有EXSI主机加入集群后，CPU、内存等..
分类：
其他好文 时间：
2014-07-17 20:31:28
阅读次数：
278
cluster集群要实现vmotion、DRS、HA等功能，EXSI主机必须是两台或以上的数量。那怎么判断vmotion等漂移功能在哪些主机执行的呢？这就引出了集群cluster的概念。所有基于vmotion的功能都是在集群内的EXSI主机实现的，VM只会在集群内做漂移。所有EXSI主机加入集群后，CPU、内存等..
分类：
其他好文 时间：
2014-07-17 20:20:52
阅读次数：
194
转自http://blog.csdn.net/moshengtan/article/details/8990052
1 Web负载均衡
1.1 - 使用商业硬件实现
最常用的F5 与citrix netscaler。比如12306前端的web好像用的就是F5 的BIGIP。如果公司资金足够的话，相对使用开源软件来说理方便。
优点：维护方便，性能稳定
缺点：费用太高
...
分类：
Web程序 时间：
2014-07-17 19:30:38
阅读次数：
325
一、介绍LVS是LinuxVirtualServer的简写，即Linux虚拟服务器，是一个虚拟的服务器集群系统。该项目由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。使用LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有..
分类：
其他好文 时间：
2014-07-17 16:04:36
阅读次数：
537
1、HRegionServer启动不正常在namenode上执行jps,则可看到hbase启动是否正常，进程如下：[root@master bin]# jps26341 HMaster26642 Jps7840 ResourceManager7524 NameNode7699 SecondaryNa...
分类：
其他好文 时间：
2014-07-17 13:02:12
阅读次数：
268
