什么是Kubernetes？Kubernetes是Google开源的容器集群管理系统，实现基于Docker构建容器，利用Kubernetes能很方面管理多台Docker主机中的容器。主要功能如下：1）将多台Docker主机抽象为一个资源，以集群方式管理容器，包括任务调度、资源管理、弹性伸缩、滚动升级等功能。2）..
分类：
Web程序 时间：
2016-01-20 06:32:22
阅读次数：
6954
SparkStandalone模式安装SparkStandalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络安全端口高可用性基于Zookeeper的Master本地系统的单节点恢复除了运行在mesos或yarn集群管理器中，spa...
分类：
其他好文 时间：
2016-01-05 23:55:55
阅读次数：
508
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。架构：集群管理器：主界面：关键特性包括:基于web的用户界面无缝体验设计、控制和监视高度可配置的数据丢失容错和保证交付低延迟和...
分类：
Web程序 时间：
2016-01-05 18:20:38
阅读次数：
161
背景介绍Spark有多种集群运行模式，例如：Standalone,Yarn,Mesos。下面就说一下如何在Mesos上运行Spark，这也是官方推荐的一种运行方式。在运行Spark之前咱们先简略介绍一下Mesos。Mesos计算框架是一个集群管理器，提供了有效的、跨分布式的应用或框架的资源隔离和共享...
分类：
其他好文 时间：
2015-12-22 17:43:04
阅读次数：
180
管理节点启动：#首次运行、备份或者config.ini配置变化时加--initial[root@mysql-managermysql-cluster]#/usr/local/mysql/bin/ndb_mgmd-f/var/lib/mysql-cluster/config.ini--initial查看启动后的端口情况：[root@mysql-managermysql-cluster]#netstat-lntpu管理节点检验[root..
分类：
数据库 时间：
2015-12-18 19:07:00
阅读次数：
494
znode可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的功能包括配置的集中管理，集群管理，分布式锁等等。知识准备：zookeeper定义的状态有：Unknown (-1.....
分类：
其他好文 时间：
2015-11-27 16:54:12
阅读次数：
199
蘑菇街的私有云项目是2014年圣诞节期间上线的，从无到有，经过了半年多的发展，经历了3次大促，已经逐渐形成了一定的规模。1架构集群管理大家知道，Docker自身的集群管理能力在当时条件下还很不成熟，因此我们没有选择刚出现的Swarm，而是用了业界最成熟的OpenStack，这样能同时管理Docker...
分类：
其他好文 时间：
2015-11-25 11:29:52
阅读次数：
254
裂脑所谓脑裂，就是指两个或多个节点都“认为”自身是正常节点而互相“指责”对方，导致不能选取正确的节点进行接管或修复，导致脑裂状态。这种现象出现在数据修复、集群管理等等高可用场景。Glusterfs的冗余镜像（下文简称AFR）提供了数据副本功能，能够在即使只有一个冗余节..
分类：
其他好文 时间：
2015-11-17 19:15:14
阅读次数：
1593
接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系...
分类：
其他好文 时间：
2015-11-16 17:46:31
阅读次数：
309
第131讲：Hadoop集群管理工具均衡器Balancer实战详解学习笔记为什么需要均衡器呢？随着集群运行，具体hdfs各个数据存储节点上的block可能分布得越来越不均衡，会导致运行作业时降低mapreduce的本地性。分布式计算中精髓性的一名话：数据不动代码动。降低本地性对性能的影响是致使的，而...
分类：
其他好文 时间：
2015-11-15 19:14:26
阅读次数：
197
