码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
余额宝技术架构及演进
余额宝技术架构及演进导读:余额宝开启了划时代的意义,开启了全民理财时代。上个月微博商业产品部联合天弘基金等金融技术团队策划了首届互联网金融系统沙龙,围绕在互联网金融过程中碰到技术架构问题与业界展开分享及交流。本文是陈雨在沙龙上的演讲,授权高可用架构首发。陈雨,具有8年的软件研发和技术管理工作经验,专注于互联网金融、云计算、大数据等领域的发展动态和创新,目前在天弘基金负责基金注册登记系统架构和研发工
分类:其他好文   时间:2020-11-08 17:35:47    阅读次数:20
解密未来数据库设计:MongoDB新存储引擎WiredTiger实现(事务篇)
解密未来数据库设计:MongoDB新存储引擎WiredTiger实现(事务篇)导语:计算机硬件在飞速发展,数据规模在急速膨胀,但是数据库仍然使用是十年以前的架构体系,WiredTiger尝试打破这一切,充分利用多核与大内存时代,开发一种真正满足未来大数据管理所需的数据库。本文由袁荣喜向「高可用架构」投稿,介绍对WiredTiger源代码学习过程中对数据库设计的感悟。袁荣喜,学霸君工程师,2015年
分类:数据库   时间:2020-11-08 17:33:26    阅读次数:28
高并发,你真的理解透彻了吗?
高并发,几乎是每个程序员都想拥有的经验。原因很简单:随着流量变大,会遇到各种各样的技术问题,比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等,这些问题能推动我们在技术深度上不断精进。 在过往的面试中,如果候选人做过高并发的项目,我通常会让对方谈谈对于高并发的理解,但是能系统性 ...
分类:其他好文   时间:2020-11-08 17:21:16    阅读次数:20
联通大数据究竟有多厉害?
运营商大数据精准营销获客服务项目,帮助企业实现低成本高效率的商业先机,帮助企业挖掘精准客源和最后一公里的精准触达。 运营商大数据精准营销可以为企业获客实现什么? 如何通过运营商大数据来精准获客? 1、运营商大数据资源的精准性 第一、运营商大数据资源的精准性:获客盟运营商大数据精准营销,根据企业需求, ...
分类:移动开发   时间:2020-11-07 17:34:15    阅读次数:31
经典教程 | 基于Spark GraphX实现微博二度关系推荐
经典教程|基于SparkGraphX实现微博二度关系推荐导读:图计算是近几年大数据领域非常受关注的热点,社交网络中的好友关系推荐是一种典型图计算场景,本文是微博关系项目团队在二度关系计算中的一些实践,供高可用架构读者参考,作者为王舜、蒋生武、田瑞林。关系计算问题描述二度关系是指用户与用户通过关注者为桥梁发现到的关注者之间的关系。目前微博通过二度关系实现了潜在用户的推荐。用户的一度关系包含了关注、好
分类:其他好文   时间:2020-11-07 17:07:30    阅读次数:27
Hadoop namenode高可用性分析:QJM核心源代码解读
Hadoopnamenode高可用性分析:QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志,最早HDFS日志写本地,每次重启或出现故障后重启,通过本地镜像文件+操作日志,就能还原到宕机之前的状态,不会出现数据不一致。如果要做高可用(HA),日志写在单个机器上,这个机器磁盘出现问题,重启就恢复不了,导致数据不一致,出现的现象就是新建的文件不存在,删除成功的还在等诡异现象。
分类:其他好文   时间:2020-11-07 17:00:30    阅读次数:24
大数据获客的精准,已经成为企业获客渠道主要-运营商大数据获客_联通大数据获客营销平台
大数据获客的精准,已经成为企业获客途径主要来历多归纳服务平台化数据收集:互联网大数据的统计分析数据来自一般是多样化的,多归纳服务平台化的数据收集能使对网民行为的勾勒更加多方位而精准。多归纳服务平台收集可包括互联网技术性、移动互联网、广电网、智能电视机未来也是户外智能化系统屏等统计分析数据。 注重时效 ...
分类:移动开发   时间:2020-11-07 16:40:12    阅读次数:25
Hadoop使用实例
1.词频统计 a.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 b.编写map与reduce函数 c.本地测试map和reduce d.将文本数据上传到HDFS上 e.用hadoop streaming提交任务 f.查看运行结果 g.计算结果取回本地 ...
分类:其他好文   时间:2020-11-07 16:36:45    阅读次数:33
Hadoop使用实例
1.下载喜欢的电子书或大量文本数据,并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类:其他好文   时间:2020-11-07 16:32:22    阅读次数:17
Hadoop实例
1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类:其他好文   时间:2020-11-07 16:17:20    阅读次数:18
29965条   上一页 1 ... 41 42 43 44 45 ... 2997 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!