1.简介 RocketMQ is a distributed messaging and streaming platform with low latency, high performance and reliability, trillion level capacity and flexib ...
分类:
其他好文 时间:
2020-01-12 21:41:26
阅读次数:
105
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的... ...
分类:
其他好文 时间:
2020-01-09 00:58:47
阅读次数:
95
+ HDFS 写文件 + 网络拓扑 节点距离计算 + HDFS读流程 + NN和2NN工作机制 + Fsimage和Edits解析 + CheckPoint时间设置 + NameNode故障后的数据恢复 HDFS 数据流 HDFS 写文件 1)客户端通过Distributed FileSystem模 ...
分类:
其他好文 时间:
2020-01-08 18:45:59
阅读次数:
95
目录RDD概述RDD实现RDD运行流程RDD分区RDD操作分类RDD编程接口说明一、RDD概述RDD:是Resilient distributed datasets的简称,中文为弹性分布式数据集;是Spark最核心的模块和类DAG:Spark将计算转换为一个有向无环图(DAG)的任务集合,通过为RD... ...
分类:
其他好文 时间:
2020-01-08 14:43:26
阅读次数:
102
# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work ...
分类:
其他好文 时间:
2020-01-08 12:42:49
阅读次数:
155
微软的分布式应用框架 Dapr Helloworld Dapr HelloWorld Dapr Distributed Application Runtime. An event-driven, portable runtime for building microservices on cloud ...
分类:
其他好文 时间:
2020-01-08 11:01:13
阅读次数:
352
分布式文件系统分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源并不直接与本地节点相连,而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成,结构上是典型的客户机/服务器模式。流行的模式是当客户机需要存储 ...
分类:
其他好文 时间:
2020-01-06 23:09:34
阅读次数:
106
https://zqhxuyuan.github.io/ 最近两年更新少 任何忧伤,都抵不过世界的美丽 2015-12-08 Druid源码解析(1) Guice和Realtime流程 Source druid Druid is a fast column-oriented distributed ...
分类:
其他好文 时间:
2019-12-30 09:15:57
阅读次数:
90
HDFS架构概述 HDFS(Hadoop Distributed File System)的架构 2.5.3 MapReduce架构概述 MapReduce将计算过程分为两个阶段:Map和Reduce,如图2-25所示 1)Map阶段并行处理输入数据 2)Reduce阶段对Map结果进行汇总 图中涉 ...
分类:
其他好文 时间:
2019-12-27 21:42:53
阅读次数:
71
分布式系统(distributed system)正变得越来越重要,大型网站几乎都是分布式的。 分布式系统的最大难点,就是各个节点的状态如何同步。CAP 定理是这方面的基本定理,也是理解分布式系统的起点。 本文介绍该定理。它其实很好懂,而且是显而易见的。下面的内容主要参考了 Michael Whit ...
分类:
其他好文 时间:
2019-12-26 22:49:55
阅读次数:
98