码迷,mamicode.com
首页 >  
搜索关键字:spark scala enumeration    ( 10781个结果
spring-boot-route(十四)整合Kafka
在上一章中SpringBoot整合RabbitMQ,已经详细介绍了消息队列的作用,这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的,高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势,被广泛用来记录日志 ...
分类:编程语言   时间:2020-10-13 17:35:42    阅读次数:33
2020 秋招 阿里巴巴大数据面试 带答案!
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套,均为笔者自己参加面试或者一些读者分享给我的题目,保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程,其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类:其他好文   时间:2020-10-13 17:19:39    阅读次数:26
算法基础
算法基础 数据分析 数学基础 在进行算法建模时,深入了解数据情况,做各类探索性分析,统计建模等工作非常重要,这方面对一些数学基础知识有一定的要求,例如概率论,统计学等。这方面除了经典的数学教材,也可以参考更程序员向的《统计思维》,《贝叶斯方法》,《程序员的数学2》等书籍。 自我考核:理解实际项目中的 ...
分类:编程语言   时间:2020-10-10 17:55:27    阅读次数:24
spark之 连接SQL和HIVE
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类:数据库   时间:2020-10-06 20:52:59    阅读次数:35
SparkStreaming+Kafka
Receiver Direct offset注意点 ...
分类:其他好文   时间:2020-10-06 20:46:36    阅读次数:26
JDBC连接MySQL
依赖 <!-- mysql连接 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.27</version> </dependency> 代码实现 i ...
分类:数据库   时间:2020-09-18 17:27:00    阅读次数:76
scala 之 函数(二)
一、柯里化 二、隐式参数 implict只能修改最尾部的参数列表,应用于其全部参数 Scala可自动传递正确类型的隐式值 、 通常与柯里化函数结合使用 例1:隐式变量 implicit var k = 40 // 当传参找不到参数y:Int时,发现implicit有k:Int,自动续上 // imp ...
分类:其他好文   时间:2020-09-18 01:09:39    阅读次数:29
PySpark基于Python的Spark企业级大数据分析,以实际数据分析为驱动讲解
PySpark基于Python的Spark企业级大数据分析,以实际数据分析为驱动讲解 ...
分类:编程语言   时间:2020-09-18 00:55:02    阅读次数:44
Kafka 面试专题
CSDN:程序员小羊 微信公众号:程序员小羊 1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使用Scala 语言编写,目前是 Apache 的开源项目。 broker: Kafka 服务器,负责消息存储和转发 topic:消 ...
分类:其他好文   时间:2020-09-17 21:42:29    阅读次数:32
Spark的Shuffle和MR的Shuffle异同
介绍 不论MapReduce还是RDD,shuffle都是非常重要的一环,也是影响整个程序执行效率的主要环节,但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗,将各个节点的同一类数据汇集到某一个节点进行计算,为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类:其他好文   时间:2020-09-17 19:31:45    阅读次数:30
10781条   上一页 1 ... 20 21 22 23 24 ... 1079 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!