MapReduce原理 背景 因为如果要对海量数据进行计算,计算机的内存可能会不够。 因此可以把海量数据切割成小块多次计算。 而分布式系统可以把小块分给多态机器并行计算。 MapReduce概述 MapReduce是一种分布式计算模型,由Google提出主要用于搜索领域,解决海量数据的计算问题。 适 ...
分类:
其他好文 时间:
2020-04-05 00:49:37
阅读次数:
74
谷歌“三驾马车”的出现,才真正把我们带入了大数据时代,毕竟没有谷歌,就没有大数据。 上次的分享,我们对谷歌的其中一驾宝车 GFS 进行了管中窥豹,虽然只见得其中一斑,但是也能清楚的知道 GFS 能够把大量廉价的普通机器,聚在一起,充分让每台廉价的机器发挥光和热,不但降低了运营成本,而且解决了一个业界 ...
分类:
其他好文 时间:
2020-04-04 09:51:40
阅读次数:
70
每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样,你就能一次又一次地使用该方案而不必做重复工作。 所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此,在实践中提出了许多解决方案,以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。
分类:
其他好文 时间:
2020-03-30 00:25:23
阅读次数:
252
1. NoSQL简介 NoSQL(NoSQL = Not Only SQL ),非关系型数据库,也意"not only SQL"。 通过应用实践证明,关系模型是非常适合于客户服务器编程,远远超出预期的利益,今天它是结构化数据存储在网络和商务应用的主导技术。 1.1 RDBMS vs NoSQL RD ...
分类:
数据库 时间:
2020-03-28 00:51:53
阅读次数:
106
引言 构建分布式系统并不容易。然而,人们日常所使用的应用大多基于分布式系统,在短时间内依赖于分布式系统的现状并不会改变。ApacheZooKeeper旨在减轻构建健壮的分布式系统的任务。ZooKeeper基于 分布式计算的核心概念而设计,主要目的是给开发人员提供一套容易理解和开发的接口,从而简化分布 ...
分类:
其他好文 时间:
2020-03-27 21:32:05
阅读次数:
69
1-MapReduce介绍 2-MapReduce的构思和框架结构 3-MapReduce的编程规范 4-MapReduce案例-wordcount-步骤分析 5-MapReduce案例-wordcount-准备工作 ...
分类:
其他好文 时间:
2020-03-27 15:33:33
阅读次数:
85
RPC 的主要功能目标是让构建分布式计算(应用)更容易,在提供强大的远程调用能力时不损失本地调用的语义简洁性。 为实现该目标,RPC 框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用。 下面我们将具体细化 stub 结构的实现。
分类:
其他好文 时间:
2020-03-24 10:31:43
阅读次数:
63
https://blog.csdn.net/Dalham/article/details/104905379 实在不会上传图片所以发到csdn去了,头大 ...
分类:
其他好文 时间:
2020-03-16 19:10:39
阅读次数:
48
Netty是一个高性能、异步事件驱动的NIO框架,它提供了对TCP、UDP和文件传输的支持,作为一个异步NIO框架,Netty的所有IO操作都是异步非阻塞的,通过Future-Listener机制,用户可以方便的主动获取或者通过通知机制获得IO操作结果。
作为当前最流行的NIO框架,Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用,一些业界著名的开源组件也基于Netty的NIO框架构建。
分类:
编程语言 时间:
2020-03-08 23:19:21
阅读次数:
82
操作系统 操作系统的基本特性 并发,共享,虚拟,异步 并发是指宏观上在一段时间内能同时运行多个程序,而并行则指同一时刻能运行多个指令。 并行需要硬件支持,如多流水线、多核处理器或者分布式计算系统。 操作系统通过引入进程和线程,使得程序能够并发运行。 共享是指系统中的资源可以被多个并发进程共同使用。 ...
分类:
其他好文 时间:
2020-03-07 12:36:43
阅读次数:
75