一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo ...
分类：
其他好文 时间：
2021-03-15 10:30:41
阅读次数：
0
关于概念的东西，其实官网说的很全，对于个人理解就是，flink、spark等等大数据处理平台就是把原来需要我们自己实现的功能，全部框架封装好，像是跨机器的大规模计算、内存/cpu等等资源管理、状态管理(锁还有恢复机制等等）框架全部封装好了，作为开发来说就只需要关心自己要实现的业务就可以了以下内容来自官网，从3个方面介绍Flink：架构ApacheFlink是一个框架和分布式处理引擎，用于在无边界和
分类：
其他好文 时间：
2020-11-06 02:27:17
阅读次数：
21
1、初识Flink Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林 ...
分类：
其他好文 时间：
2020-07-09 13:49:53
阅读次数：
59
一、计算机网络的定义和基本功能 1.定义：计算机网络是一组自治计算机互联的集合 2.基本功能 1）资源共享 2）分布式处理与负载均衡 3）综合信息服务 二、计算机网络的演进 由最初的主机互联——>到局域网连接——>到互联网——>到最终的因特网 三、计算机网络的类型 1.LAN局域网(Local Ar ...
分类：
其他好文 时间：
2020-07-07 20:00:52
阅读次数：
57
一、概述 计算机网络的功能 数据通信 资源共享 分布式处理 提高可靠性 负载均衡 计算机网络采用的两类通信方式：客户-服务器方式（C/S）和对等连接方式（P2P） 电路交换特点： 通信前要先建立连接，通信完毕后释放连接。一定要有三个阶段：建立连接、通信、释放连接。 通信过程中，通信双方自始至终占用着 ...
分类：
其他好文 时间：
2020-06-29 13:24:45
阅读次数：
94
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
Flink：ApacheFlink是一个计算框架和分布式处理引擎，用于对***和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。Flink主要特点：1、高吞吐、低延迟、纯流式架构；2、支持对乱序事件的处理；3、有状态、提供exactly-once计算；4、高度灵活的窗口机制；5、失败恢复、故障转移、水平扩展；6、批处理、流处理统一的APINBI大数据可视
分类：
其他好文 时间：
2020-06-11 21:28:52
阅读次数：
114
Unity基本网络知识 网络的作用: 信息交互 资源分布 分布式处理 网络通讯协议: 七层协议: IP地址: 每一个可以连接网络的设备,都有自己的一个独一无二的IP地址 NAT地址转换: NAT（Network Address Translation，网络地址转换）是1994年提出的。当在专用网内部 ...
分类：
编程语言 时间：
2020-06-10 11:11:30
阅读次数：
104
关于网络：一组自治计算机互连的集合，用来实现资源共享、分布式处理、负载均衡和综合信息服务。“没有网络安全，就没有国家安全”你还不快来看看网络知识你知道多少？网络的组成：1、终端设备/应用程序（computer、printer、server）--系统工程师2、网络设备（router、switch、firewall、hub、AP）-----网络工程师3、传输介质（twisted-pair、fibero
分类：
其他好文 时间：
2020-06-08 17:33:44
阅读次数：
96
