码迷,mamicode.com
首页 > 其他好文 > 详细

WW大数据平台架构

时间:2020-05-28 11:34:57      阅读:68      评论:0      收藏:0      [点我收藏+]

标签:mic   工作   阿里云   常见   部分   pytho   数据平台   inf   任务调度   

1.大数据架构

技术图片

说明:
1.该大数据平台采用的阿里云服务器,所以在集群部署和运维上会减少很多工作量
2.主题的计算引擎采用Spark,部分有Flink
3.数据挖掘主要是应用python的一些挖掘框架,模型比如词袋模型和一些常见的nlp算法
4.任务调度是自研的诸葛大数据调度平台

WW大数据平台架构

标签:mic   工作   阿里云   常见   部分   pytho   数据平台   inf   任务调度   

原文地址:https://www.cnblogs.com/jiashengmei/p/12979427.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!