1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo ...
分类：
其他好文 时间：
2021-03-15 10:30:41
阅读次数：
0
设置metastore 机器： ke01、ke02、ke03、ke04 ke03 为元数据库 ke01、ke02、ke04 连接到元数据库 、 hive-metastore搭建 ke03: <configuration> <property> <name>hive.metastore.warehou ...
分类：
数据库 时间：
2021-03-12 13:42:56
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
flume用户自定义拦截器.创建flume-demo的maven项目. 创建项目文件POM.xml. <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1. ...
分类：
Web程序 时间：
2021-03-09 13:52:58
阅读次数：
0
SSM小书城整合，新手框架整合练习 所有文件都在github（https://github.com/laowenruo/SSM-library） 本项目主要用于用于新手刚入门Spring，Mybatis,SpringMVC框架后，需要小练手整合一下，熟悉完框架之后，还是可以深入学习一下或者学下Spr ...
分类：
其他好文 时间：
2021-03-09 13:07:12
阅读次数：
0
IDEA整合LeetCode插件，可以在 IDEA 本地编辑代码并且运行提交，还能关联自己的账号，非常实用。 在Setting中的Plugins中搜索安装LeetCode插件 安装插件后进行设置 第一次使用前，需要进行一些基本的配置在Setting的Tools中可以找到安装好的leetode plu ...
分类：
其他好文 时间：
2021-03-08 14:00:35
阅读次数：
0
配置文件 flume-taildir-logger.conf： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类：
其他好文 时间：
2021-03-08 13:38:15
阅读次数：
0
SSM整合 1 创建数据库 create database ssmbuild; use ssmbuild; create table books( bookID int(10) KEY not null auto_increment comment '书id', bookName varchar(1 ...
分类：
其他好文 时间：
2021-03-08 13:27:37
阅读次数：
0
近日，PyTorch 团队发布了 PyTorch 1.8 版本。该版本整合了自去年 10 月 1.7 版本发布以来的 3000 多次 commit，提供了编译、代码优化、科学计算前端 API 方面的主要更新和新特性。值得一提的是，该版本新增了对 AMD ROCm 的支持。 此外，PyTorch 1. ...
分类：
编程语言 时间：
2021-03-08 13:14:52
阅读次数：
0
flume-netcat-logger.conf 文件编写: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.s ...
分类：
Web程序 时间：
2021-03-06 14:54:47
阅读次数：
0
