单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef
分类：
其他好文 时间：
2014-09-12 11:41:33
阅读次数：
156
Q1：docker成熟度如何？ Docker是2013年和2014年最火爆的云计算开源项目； Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期；Q2：...
分类：
其他好文 时间：
2014-09-12 11:32:53
阅读次数：
294
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
Docker是一个用了一种新颖方式实现的超轻量虚拟机，在实现的原理和应用上还是和VM有巨大差别，专业的叫法是应用容器（ApplicationContainer）。（我个人还是喜欢称虚拟机）Docker应用容器相对于VM有以下几个优点：启动速度快，容器通常在一秒内可以启动，而VM通常要更久资源利..
分类：
其他好文 时间：
2014-09-12 02:33:03
阅读次数：
212
本文从Docker的源代码出发，简要介绍了Docker作为一个后台进程启动过程中运行的流程。...
分类：
其他好文 时间：
2014-09-11 17:17:02
阅读次数：
353
下一个云计算大事件，Docker是一个足以改变人们创建软件方式的东西，它能让任何程序开发人员更轻松地、即刻地体会到海量计算性能的优势。...
分类：
其他好文 时间：
2014-09-11 09:42:21
阅读次数：
255
Docker是PaaS圈内开源的基于LXC的应用容器引擎，基于Go语言开发，遵从Apache2.0协议。
最近一年来，Docker在云计算方面的热度持续升温，社区等活跃度也持续走高，使得大家对于Docker普遍持有积极态度。
笔者在研究生期间，主要从事PaaS方面的研究与实践工作，具体的研究平台为开源的Cloud Foundry。最近Docker的火热，更是让自己处于对Docker的学习过程中，不能自拔。...
分类：
其他好文 时间：
2014-09-10 12:34:40
阅读次数：
242
一、环境3台虚拟机，系统为centos，zookeeper版本为3.4.3ip与hostname分别为192.168.41.100/master，192.168.41.101/slave1，192.168.41.102/slave2二、安装1、解压下载到的apache-storm-0.9.2-incubating.zip#tarzvxfapache-storm-0.9.2-incubating.tar.gz-C/home/hadoop/2、..
分类：
其他好文 时间：
2014-09-10 02:45:10
阅读次数：
266
Ubuntu安装指南以下均翻译自Docker官方文档，转载请注明：Vikings翻译 Docker 支持多种平台下的安装运行，现在我们选取结合度最高的ubuntu来说明安装过程。 首先需要明确Docker支持的ubuntu版本： Ubuntu Trusty 14.04 (LTS) (64-bi...
分类：
其他好文 时间：
2014-09-09 15:07:08
阅读次数：
384
ZooKeeper实现分布式队列Queue让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配...
分类：
其他好文 时间：
2014-09-09 11:26:38
阅读次数：
351
