在上一章中SpringBoot整合RabbitMQ,已经详细介绍了消息队列的作用,这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的,高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势,被广泛用来记录日志 ...
分类:
编程语言 时间:
2020-10-13 17:35:42
阅读次数:
33
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套,均为笔者自己参加面试或者一些读者分享给我的题目,保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程,其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类:
其他好文 时间:
2020-10-13 17:19:39
阅读次数:
26
算法基础 数据分析 数学基础 在进行算法建模时,深入了解数据情况,做各类探索性分析,统计建模等工作非常重要,这方面对一些数学基础知识有一定的要求,例如概率论,统计学等。这方面除了经典的数学教材,也可以参考更程序员向的《统计思维》,《贝叶斯方法》,《程序员的数学2》等书籍。 自我考核:理解实际项目中的 ...
分类:
编程语言 时间:
2020-10-10 17:55:27
阅读次数:
24
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类:
数据库 时间:
2020-10-06 20:52:59
阅读次数:
35
Receiver Direct offset注意点 ...
分类:
其他好文 时间:
2020-10-06 20:46:36
阅读次数:
26
依赖 <!-- mysql连接 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.27</version> </dependency> 代码实现 i ...
分类:
数据库 时间:
2020-09-18 17:27:00
阅读次数:
76
一、柯里化 二、隐式参数 implict只能修改最尾部的参数列表,应用于其全部参数 Scala可自动传递正确类型的隐式值 、 通常与柯里化函数结合使用 例1:隐式变量 implicit var k = 40 // 当传参找不到参数y:Int时,发现implicit有k:Int,自动续上 // imp ...
分类:
其他好文 时间:
2020-09-18 01:09:39
阅读次数:
29
PySpark基于Python的Spark企业级大数据分析,以实际数据分析为驱动讲解 ...
分类:
编程语言 时间:
2020-09-18 00:55:02
阅读次数:
44
CSDN:程序员小羊 微信公众号:程序员小羊 1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使用Scala 语言编写,目前是 Apache 的开源项目。 broker: Kafka 服务器,负责消息存储和转发 topic:消 ...
分类:
其他好文 时间:
2020-09-17 21:42:29
阅读次数:
32
介绍 不论MapReduce还是RDD,shuffle都是非常重要的一环,也是影响整个程序执行效率的主要环节,但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗,将各个节点的同一类数据汇集到某一个节点进行计算,为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类:
其他好文 时间:
2020-09-17 19:31:45
阅读次数:
30