码迷,mamicode.com
首页 >  
搜索关键字:spark scala enumeration    ( 10781个结果
spark浅析
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数,位于集群中的一个节点上,它负责三件事:维护 Spark 应用程序的相关信息;回应用户的程序或输入;分析任务并分发给若干执行器进行处理。驱动器是必须的,它是 Spark 应用程序的核 ...
分类:其他好文   时间:2020-12-17 12:09:25    阅读次数:2
spark-streaming与kafka的整合
1. 概述 在2.x中,spark有两个用来与kafka整合的代码,版本代号为0.8和0.10,由于在0.8,kafka有两套消费者api,根据高级api得到了Receiver-based Approach,根据低级api得到了Direct Approach,而在0.10由于kafka只有一套消费者 ...
分类:其他好文   时间:2020-12-16 11:50:30    阅读次数:4
【福利】北风网大数据之spark从入门到精通(三)
【福利】北风网大数据之spark从入门到精通(三)北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通,分为四个阶段:Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark,今天分享的是SSpark深入剖析。
分类:其他好文   时间:2020-12-11 12:23:58    阅读次数:2
【福利】北风网大数据之spark从入门到精通(四)
【福利】北风网大数据之spark从入门到精通(四)北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通,分为四个阶段:Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark,今天分享的是内存计算框架Spark。
分类:其他好文   时间:2020-12-11 12:23:45    阅读次数:3
Spark存储Parquet数据到Hive,对map、array、struct字段类型的处理
利用Spark往Hive中存储parquet数据,针对一些复杂数据类型如map、array、struct的处理遇到的问题?为了更好的说明导致问题 ...
分类:其他好文   时间:2020-12-08 12:44:11    阅读次数:4
简易orm 主要是为了旧平台查询方便
直接新建个文件即可 ExLogic.cs public class ExLogic { #region 对象转成字典 /// <summary> /// 对象转换为字典 /// </summary> /// <param name="obj">待转化的对象</param> /// <returns> ...
分类:其他好文   时间:2020-12-07 12:20:51    阅读次数:7
Kafka作为分布式消息系统的系统解析
Apache Kafka由Scala和Java编写,基于生产者和消费者模型作为开源的分布式发布订阅消息系统。它提供了类似于JMS的特性,但设计上又有很大区别,它不是JMS规范的实现,如Kafka允许多个消费者主动拉取数据,而在JMS中只有点对点模式消费者才会主动拉取数据 ...
分类:其他好文   时间:2020-12-04 11:04:22    阅读次数:7
图解Spark系列:RDD的创建与执行
设计Spark程式过程中最初始的是创建RDD数据集,该数据集来自定义的源数据,当RDD数据集初始后,再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法,比如:通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式,生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为,通过输入算子(
分类:其他好文   时间:2020-12-04 10:59:58    阅读次数:4
Flink之流式框架的对比
Flink的优势和特点: 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点,主要是因为Spark Streaming流式计算中无法做到低延迟保障;而流式计算框架Apa ...
分类:其他好文   时间:2020-12-03 11:33:38    阅读次数:5
熟悉编程语言
#2020编程语言TOP50 #编程语言的编程泛型 命令式: 面向过程:C语言、COBOL、Fortran 面向对象:C++、Java、PHP、python、go、Objective-C、C# 声明式:SQL 函数式:Haskell、F#、ML、Scala、lisp、logo、Scheme、R 逻辑 ...
分类:编程语言   时间:2020-12-02 12:38:11    阅读次数:11
10781条   上一页 1 ... 16 17 18 19 20 ... 1079 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!