文章引自 gRPC快速入门 gRPC RPC是什么 在分布式计算，远程过程调用（英语：Remote Procedure Call，缩写为 RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间（通常为一个开放网络的一台计算机）的子程序，而程序员就像调用本地程序一样，无需额外 ...
分类：
其他好文 时间：
2020-02-23 18:11:57
阅读次数：
103
1.Job Managers、Task Managers、客户端（Clients） Flink 运行时包含两类进程： JobManagers （也称为 masters）协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。 每个 Job 至少会有一个 JobManager。 ...
分类：
其他好文 时间：
2020-02-23 11:54:37
阅读次数：
106
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
通过优锐课的java架构知识讲解中，了解面向服务的体系结构的特征以及什么构成基于Java的SOA基础结构。分享给大家学习参考。 面向服务的体系结构（SOA）是基于用于同步和异步应用程序的请求/答复设计范例的分布式计算的演变。应用程序的业务逻辑或各个功能被模块化，并作为针对消费者/客户端应用程序的服务 ...
分类：
其他好文 时间：
2020-02-17 16:06:04
阅读次数：
100
官方讲解： Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。 个人理解： Hadoop就是一些模块的相对简称!! 那Hadoop到底指的哪些模块？？以及他们是干嘛 ...
分类：
其他好文 时间：
2020-02-15 00:12:46
阅读次数：
135
一、NoSQL简介 1.NoSQL 全名为Not Only SQL，指的是非关系型的数据库。 随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来。 2.优点与缺点分析 1) 优点 ①高可扩展性 ②分布式计算 ③低成本 ④架构的灵活性，半结构化数据 ⑤没有复杂的关系 2) 缺点 ① ...
分类：
其他好文 时间：
2020-02-10 22:27:51
阅读次数：
78
长大之后，时间总是过得飞快，转眼之间，今年已经只剩下1天了。小时候总感觉遥不可及、只在科幻小说里面出现的2020年，已经开始进入蓄力期了. 这篇文章主要和大家聊一聊分析2019年java技术的更新给大家明年进阶方向的一些建议。（工作1到五年） 2019年主流技术：（含思维导图） 一、分布式架构： 架 ...
分类：
编程语言 时间：
2020-02-05 20:19:10
阅读次数：
122
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。指的是非关系型数据库。 随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来。 NoSQL的优点/缺点 优点: 高可扩展性 分布式计算 低成本 架构的灵活性，半结构化数据 没有复杂的关系 缺点: 没有 ...
分类：
数据库 时间：
2020-01-28 23:19:22
阅读次数：
121
概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 S ...
分类：
其他好文 时间：
2020-01-26 19:27:55
阅读次数：
76
