1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 答: Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTabl ...
分类：
其他好文 时间：
2021-03-15 10:30:53
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce，hadoo ...
分类：
其他好文 时间：
2021-03-15 10:30:41
阅读次数：
0
TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源； 基于 EventTime 处理，如何指定 Watermark； Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口； State状态的使用； P ...
分类：
其他好文 时间：
2021-03-12 13:00:59
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
介绍 分而治之是一个有效的处理大数据的方法，著名的MapReduce就是采用这种分而治之的思路。简单的说，如果要处理1000个数据，但是我们不具备处理1000个数据的能力，只可以处理10个数据。我们可以将这个任务分成100份，每份处理10个，并将最后的结果进行合成，形成1000个数据的处理结果。 把 ...
分类：
编程语言 时间：
2021-03-10 13:02:18
阅读次数：
0
flume用户自定义拦截器.创建flume-demo的maven项目. 创建项目文件POM.xml. <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1. ...
分类：
Web程序 时间：
2021-03-09 13:52:58
阅读次数：
0
hadoop集群安装 安装环境服务部署规划 服务器IP node01 node02 node03 HDFS NameNode HDFS SecondaryNameNode HDFS DataNode DataNode DataNode YARN ResourceManager YARN NodeMa ...
分类：
其他好文 时间：
2021-03-09 12:59:55
阅读次数：
0
1.union 和 union all 前者可以去重 select sex,address from test where dt='20210218' union all select sex,address from test where dt='20210218'; + + +--+ | sex ...
分类：
其他好文 时间：
2021-03-08 14:17:52
阅读次数：
0
介绍 SqlSugar是一款 老牌 .NET 开源ORM框架，并且在第一时间兼容.NET5，由果糖大数据科技团队维护和更新 ，Github star数仅次于EF 和 Dapper 优点： 简单易用、功能齐全、高性能、轻量级、服务齐全、有专业技术支持一天18小时服务 支持数据库：MySql、SqlSe ...
分类：
数据库 时间：
2021-03-08 13:59:25
阅读次数：
0
配置文件 flume-taildir-logger.conf： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类：
其他好文 时间：
2021-03-08 13:38:15
阅读次数：
0
