Yet Another Resources Negotiator 从Hadoop2.0版本开始引入YARN,主要功能: 集群资源管理系统 负责集群的统一管理和调度 与客户端交互,处理客户端请求 一、基本架构 Master/Slave架构 资源管理和节点管理器组成 集群的机器启动nodemanager ...
分类:
其他好文 时间:
2019-09-22 19:42:42
阅读次数:
146
MapReduce采用的是“分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个从节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单来说,MapReduce就是”任务的分解与结果的汇总“。 MapReduce的工作原理 在分布式计算中,MapReduce框架负责处理了 ...
分类:
其他好文 时间:
2019-09-02 19:15:30
阅读次数:
69
Tomcat是jenkins运行的容器,jenkins实际上是依赖于Tomcat才能启动的。Jenkins可以调度ant的脚本。 Ant和maven类似,maven是执行pom文件,ant是执行build文件。 Jenkins强大之处就是有很多插件。 一.Jenkins安装 1.Tomcat下载,解 ...
分类:
其他好文 时间:
2019-08-23 10:36:34
阅读次数:
112
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 支持节点动态集群,可扩展节点的规模(swarm、etcd方案) 支持镜像管理、容器管理、节点管理等功能 可视化的容器管理和监控管理 在线容器console终端 二、 Shipyard中 ...
分类:
其他好文 时间:
2019-08-19 15:55:15
阅读次数:
98
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 支持节点动态集群,可扩展节点的规模(swarm、etcd方案) 支持镜像管理、容器管理、节点管理等功能 可视化的容器管理和监控管理 在线容器console终端 二、 Shipyard中 ...
分类:
其他好文 时间:
2019-08-19 15:53:03
阅读次数:
86
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 支持节点动态集群,可扩展节点的规模(swarm、etcd方案) 支持镜像管理、容器管理、节点管理等功能 可视化的容器管理和监控管理 在线容器console终端 二、 Shipyard中 ...
分类:
其他好文 时间:
2019-08-19 15:51:45
阅读次数:
83
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 支持节点动态集群,可扩展节点的规模(swarm、etcd方案) 支持镜像管理、容器管理、节点管理等功能 可视化的容器管理和监控管理 在线容器console终端 二、 Shipyard中 ...
分类:
其他好文 时间:
2019-08-19 15:49:58
阅读次数:
91
本文系美图互联网技术沙龙第 11 期嘉宾分享内容 大数据技术和应用系统目前已经在各个行业中发挥着巨大的作用,各种各样的开源技术也给大数据从业人员带来了很大的便利。Bitmap 作为一种大数据需求下产生的计算体系,有着计算速度快、信息密度高、支持海量数据等众多优势。 美图拥有海量用户数据,每天都有大量 ...
分类:
其他好文 时间:
2019-07-26 10:41:10
阅读次数:
107
看到很多网友都为织梦(DEDE CMS)的采集教程头疼,的确,官方出的教程太笼统了,什么都没说,换个网站你什么都做不了,这个教程是最详尽的教程,让你一看即会 首先我们打开织梦后台点击 采集——采集节点管理——增加新节点 这里我们以采集普通文章为例,我们选择普通文章,然后确定 我们进入了采集的设置页面 ...
分类:
其他好文 时间:
2019-07-03 13:30:27
阅读次数:
148