1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo ...
分类：
其他好文 时间：
2021-03-15 10:30:41
阅读次数：
0
消息的分发策略最基础的就是推，拉机制，这有个最好的理解就是git -> pull 和 push 在这基础上制定了有5中消息的分发策略。（√ 支持，× 不支持） 1.发布订阅：生产者生产多少条消息，每个消费者就消费多少条消息（push） 2.轮询分发：消息数/消费者数 = 每个消费者消费的消息数 （除 ...
分类：
其他好文 时间：
2021-03-12 12:15:59
阅读次数：
0
函数是一段可以重复使用的代码，用来独立地完成某个功能，它可以接收用户传递的数据，也可以不接收。接收用户数据的函数在定义时要指明参数，不接收用户数据的不需要指明，根据这一点可以将函数分为有参函数和无参函数。将代码段封装成函数的过程叫做函数定义。 C语言无参函数的定义 如果函数不接收用户传递的数据，那么 ...
分类：
其他好文 时间：
2021-03-11 16:09:36
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
拉取镜像 docker pull mysql:5.7.3 运行镜像 docker run -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7.32 # -e MYSQL_ROOT_PASSWORD=root意思是给root用户设置密码为root 启动一个mysql服务， ...
分类：
数据库 时间：
2021-03-10 13:25:55
阅读次数：
0
测试流程 开发：编写概要和详细设计 编码并自测(开发环境) 立项--编写需求--需求评审 部署环境(linux) 冒烟测试(通过)--提交bug 回归测试(测试报告)--验收测试--上线 测试: 测试用例--测试用例评审 测试计划 测试背景，测试目的，确定测试范围，制定测试策略， 测试资源安排，测试 ...
分类：
其他好文 时间：
2021-03-09 13:49:13
阅读次数：
0
JavaDoc生成文档 JavaDoc命令是用来生成自己API文档的 参数信息 @author 作者名 @version 版本号 @since 指明最早需要使用的jdk版本 @param 参数名 @return 返回值情况 @throws 异常抛出情况 文档注释 从文件夹中打开地址：class右键- ...
分类：
编程语言 时间：
2021-03-09 13:28:54
阅读次数：
0
iframe、SameSite与CEF 背景 本人使用CEF（或是Chrome）来加载开发的前端页面，其中使用iframe嵌入了第三方页面，在第三方页面中需要发送cookie到后端，然而加载会报错，第三方页面后端无法接受到Cookie。 原因 由于CEF（Chrome内核）的安全策略，在51版本以前 ...
分类：
其他好文 时间：
2021-03-09 13:27:42
阅读次数：
0
1. 两数之和（C++） 解法：枚举 特点：注意考虑边界情况 知识点：vector使用，数组长度 .size()，添加元素 .push_back(i)。 2. 两数相加（需重做）（C++） 解法：从左到右依次相加，考虑进位，注意考虑 知识点：链表的写法和使用 3.无重复字符的最长子串（未做完） 特点 ...
分类：
其他好文 时间：
2021-03-09 13:09:19
阅读次数：
0
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa ...
分类：
其他好文 时间：
2021-03-09 12:59:55
阅读次数：
0
