###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
几种软件架构 一．阿里云大数据架构 二．今日头条推荐算法架构 推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取 ...
分类：
其他好文 时间：
2020-05-14 19:00:17
阅读次数：
97
涵盖Java所有技术体系 整理不易，关注公众号：Java大数据架构 直接领取！ 本文由博客一文多发平台 "OpenWrite" 发布！ ...
分类：
编程语言 时间：
2020-04-30 15:37:13
阅读次数：
73
一、大数据spark 补写实验报告 学习 python 二、《一线架构师实践指南》阅读 阅读了最后一章 ...
分类：
其他好文 时间：
2020-02-15 23:20:51
阅读次数：
77
1. 摘要 对于大数据而言，数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle，MySql上。到大数据时代，基于hadoop生态的大数据架构，数仓基本上都是基于hive的数仓。对于很多大数据开发者而言，特别是早期，很多开发者认为hive数仓就是和业务相关，隐射Hdfs数据文件的 ...
分类：
其他好文 时间：
2019-12-24 19:02:30
阅读次数：
109
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
大数据特征（5V） Velocity（快速的数据流转） Veracity（精准可信赖的大数据） Variety（多样的数据类型） Volume（海量的数据规模） Value（数据价值密度相对较低） 大数据架构 HDFS服务功能 NameNode NameNode是主节点，存储文件的元数据，如文件名， ...
分类：
其他好文 时间：
2019-10-21 16:21:39
阅读次数：
104
本课程是由猎豹移动大数据架构师，根据Java在公司大数据开发中的实际应用，精心设计和打磨的大数据必备Java课程。通过本课程的学习大数据新手能够少走弯路，以较短的时间系统掌握大数据开发必备语言Java，为后续大数据课程的学习奠定了坚实的语言基础。 ...
分类：
编程语言 时间：
2019-10-13 11:12:24
阅读次数：
67
本课程是由猎豹移动大数据架构师，根据公司大数据平台的运维情况，精心设计和打磨的大数据必备Linux课程。通过本课程的学习大数据新手能够少走弯路，快速掌握Linux常用命令及Shell编程，为后续大数据课程的学习奠定了坚实的基础。 ...
分类：
系统相关 时间：
2019-10-13 11:05:21
阅读次数：
125
1.随着互联网快速发展，数据量的快速膨胀，我们日增3000多亿数据量，因此需要针对PB级存储、几百TB的增量数据处理架构设计 2.系统逻辑划分总图： 暂不便透露 3.系统架构图： 4.大数据计算引擎我们是采用Apache Flink流式计算框架，并对其进行了一些优化，目前在生产环境，已经基本稳定运行 ...
分类：
其他好文 时间：
2019-08-15 12:51:51
阅读次数：
131
