服务器准备：下述内容绑定 /etc/hosts 10.110.110.10 master 10.110.110.11 slave1 10.110.110.12 slave2 操作用户准备：root，hbase Mesos：分布式内核系统，apache mesos 在整个数据中心根据资源利用率和资源占 ...
分类：
其他好文 时间：
2017-07-01 12:47:33
阅读次数：
150
#mesos版本：1.1.0安装：```bash#安装devtoolset-2，包含gcc4.8版本wget-O/etc/yum.repos.d/slc6-devtoolset.repohttp://linuxsoft.cern.ch/cern/devtoolset/slc6-devtoolset.reporpm--importhttp://linuxsoft.cern.ch/cern/centos/7/os/x86_64/RPM-GPG-KEY-cernyuminstall-yde..
分类：
其他好文 时间：
2017-06-29 17:33:55
阅读次数：
238
这篇文章入选CSDN极客头条 http://geek.csdn.net/news/detail/71572 当前，要保证业务的市场竞争力，仅靠设计一个可用并且好看的产品，已经完全不能满足要求。全球消费者都希望产品能够足够的智能化，通过大数据分析来改善他们的用户体验。简言之，物联网和大数据终将成为改变 ...
分类：
系统相关 时间：
2017-06-13 20:38:57
阅读次数：
232
作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/随着Spark的逐渐成熟完好, 越来越多的可配置參数被加入到Spark中来, 本文试图通过阐述这当中部分參数的工作原理和配置思路, 和大 ...
分类：
其他好文 时间：
2017-06-11 19:14:27
阅读次数：
1363
清理日志由于mesos平台日志文件会备份在日志系统内，固主机上的大日志文件可以定时清理。/data/docker/containers-typef-name"*.log"-size+500M/data/docker/containers目录下.log类型且大于500M的文件可清理/data/logbak/passport/10.5.0/stress/base-typef-namepassport.log...
分类：
其他好文 时间：
2017-06-06 10:45:43
阅读次数：
280
MesosArchitecture上图显示了Mesos的主要组成部分。Mesos由一个masterdaemon来管理slavedaemon在每个集群节点上的运行,mesosapplications（也称为frameworks）在这些slaves上运行tasks。Mesosmaster&slave首先，Mesos是一个分布式的架构，它分Mesosmaster和Mesosslave，sla..
分类：
其他好文 时间：
2017-06-01 16:42:04
阅读次数：
251
Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/ser ...
分类：
其他好文 时间：
2017-05-22 16:38:41
阅读次数：
222
Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认是Local模式，在本地运行。这也是部署、设置最简单的一种模式 2. Standalone ...
分类：
其他好文 时间：
2017-05-15 15:40:06
阅读次数：
168
Spark有以下四种运行模式： local：本地单进程模式，用于本地开发测试Spark代码; standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行; on yarn/mesos：运行在yarn/mesos等资源管理框架之上，y ...
分类：
其他好文 时间：
2017-05-06 01:01:50
阅读次数：
246
执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | Python file> [app options] 参数名称 含义 --master MASTER_URL 可以是spark://host:port, mesos://host:port, ...
分类：
其他好文 时间：
2017-04-25 00:45:51
阅读次数：
508
