码迷,mamicode.com
首页 >  
搜索关键字:数据架构    ( 170个结果
一个常见大数据平台架构
一个常见的大数据平台架构 这是一个典型的大数据架构,且对架构进行了「分层」,分为「数据源层」、「数据传输层」、「数据存储层」、「编程模型层」和「数据分析层」,如果继续往上走的话,还有「数据可视化层」和「数据应用层」。 ...
分类:其他好文   时间:2018-09-13 10:21:55    阅读次数:14
都是毕业10年,差距不是一般大?
十年,说长不长,说短不短,人这辈子也就几个十年。十年,会发生很多变化,从象牙塔到职场,从懵懵懂懂的少年到职场骨干,能否在关键时间节点抓住机遇迎接挑战尤为重要。今天这篇文章的主人公就是一个不断突破自己,勇于接受挑战,实现自我价值的“技术老兵”。 赵健博,快手大数据架构团队的负责人 赵健博,快手大数据架 ...
分类:其他好文   时间:2018-09-06 19:54:23    阅读次数:21
五个顶级的大数据架构
五个顶级的大数据架构 自从像AWS这样的公共云产品开辟了大数据分析功能以来,小企业通过挖掘大量的数据做到只有大企业才能做到的事情,至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等,并通过按使需付费的方式提供低成本的商品集群。在这十年中,这些产品蓬勃发展,涵盖了从实时(亚秒级延迟)流媒体 ...
分类:其他好文   时间:2018-09-04 13:41:32    阅读次数:70
初识kafka
简介 Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。 简介 Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。 kafka的增长是爆炸性的。2017年超过三分之一的世界五百强公司在使用ka ...
分类:其他好文   时间:2018-08-28 20:23:24    阅读次数:22
漫谈 12306 架构
前几天在 QQ 群里跟 网友 讨论了一下 12306 架构 , 把 讨论的一些想法整理一下 。 总的来说 , 12306 的解决可以分为 2 个 流派 : 1 技术流 , 2 业务流 。 我们先来看看这篇文章 https://www.cnblogs.com/netfocus/p/5187241.ht ...
分类:其他好文   时间:2018-08-28 18:56:59    阅读次数:20
千亿级数量下日志分析系统的技术架构选型
随着数据已经逐步成为一个公司宝贵的财富,大数据团队在公司往往会承担更加重要的角色。根据七牛云在日增千亿级的日志分析工作,资深数据架构师崔文正为大家分享了大数据技术架构选型的一些经验。
分类:其他好文   时间:2018-08-22 18:26:24    阅读次数:56
数据进入MaxCompute的N种方式,大数据实战Demo系统数据上云实践
2018“MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“MaxCompute数据仓库数据转换实践”为题的演讲。本文首先介绍了MaxCompute的数据架构和流程,其次介绍了ETL算法中的三大算法,即更新插入算法、直接加载算法、全量历史表算法,再次介绍了在OLTP系统中怎样处理NULL值,最后对ETL相关知识进行了详细地介绍。
分类:其他好文   时间:2018-08-04 12:07:20    阅读次数:24
MaxCompute在更新插入、直接加载、全量历史表中的数据转换实践
2018“MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“MaxCompute数据仓库数据转换实践”为题的演讲。本文首先介绍了MaxCompute的数据架构和流程,其次介绍了ETL算法中的三大算法,即更新插入算法、直接加载算法、全量历史表算法,再次介绍了在OLTP系统中怎样处理NULL值,最后对ETL相关知识进行了详细地介绍
分类:其他好文   时间:2018-08-03 14:54:20    阅读次数:34
大数据架构师必读的NoSQL建模技术
1.前言 为了适应大数据应用场景的要求,Hadoop以及NoSQL等与传统企业平台完全不同的新兴架构迅速地崛起。而下层技术基础的革命必将影响上层建筑:数据模型和算法。简单地将传统基于第四范式结构化关系型数据库的模型拷贝到新的引擎上,无异于削足适履,不仅增加了大数据应用开发的难度和复杂度,又无法发释放 ...
分类:数据库   时间:2018-07-25 14:29:37    阅读次数:28
七牛云王珂 直播分享 | 如何快速搭建智能化的统一日志管理系统
7月24日晚上8点,七牛云高级大数据架构师王珂,将以《如何快速搭建智能化的统一日志管理系统》为题进行他对于七牛云日志管理经验的分享。 ...
分类:其他好文   时间:2018-07-20 18:56:10    阅读次数:39
170条   1 2 3 4 ... 17 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!