码迷,mamicode.com
首页 > 其他好文 > 详细

企业级大数据平台构建

时间:2018-09-18 00:29:33      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:zook   关系   res   程序   resource   协议   name   ambari   计算   

一、平台基本功能

1. 数据接入

2. 数据存储和查询,存储模型应包括关系型模型,非关系型模型,文档模型等。

3. 数据计算,包括离线批处理,实时计算,机器学习,多维分析和全文检索。

4. 平台安全与管理,解决用户管理,数据隔离,访问授权,访问控制和集群服务安全等问题。

5. 平台辅助工具,如程序开发套件,任务管理,与调度系统,自助式数据探索分析系统。

二、集群服务器的角色分类

1. 主控节点

定义:不承担具体的数据存储和计算工作,而是负责全局统筹的任务分配,资源调配或是平衡集群负载,角色包括NameNode,HMaster,ResourceManager等。

2. 存储和计算节点

如Datenode,RegionServer和NodeManger等

3. 安全认证和管理节点

定义:负责集群的安保和管理工作。如kerberos协议的认证中心服务,cloudera manager,Ambari等。

4. 协同管理与其他节点

负责服务进程之间的交互和协同,例如心跳检查,配置同步,主控服务选举等,如zookeeper等。

 

企业级大数据平台构建

标签:zook   关系   res   程序   resource   协议   name   ambari   计算   

原文地址:https://www.cnblogs.com/duaner92/p/9665240.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!