码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume 整合 avro netcat    ( 21554个结果
学好Spark/Kafka必须要掌握的Scala技术点(三)高阶函数、方法、柯里化、隐式转换
建议在用Scala编写相关功能实现时,边学习、边应用、边摸索以加深对Scala的理解和应用 ...
分类:其他好文   时间:2020-12-21 11:32:22    阅读次数:0
SpringBoot整合Filter
SpringBoot整合Filter有两种方式: 方式一:通过扫描注解方式完成Filter组件注册 步骤一:创建一个Filter package com.shiqp.test.filter; import java.io.IOException; import javax.servlet.Filte ...
分类:编程语言   时间:2020-12-21 11:09:40    阅读次数:0
学好Spark/Kafka必须要掌握的Scala技术点(二)类、单例/伴生对象、继承和trait,模式匹配、样例类(case class)
Scala是以JVM为运行环境的面向对象的函数式编程语言,它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类:其他好文   时间:2020-12-19 13:14:39    阅读次数:1
react + ts + event-source-polyfill 实现方案
使用event-source-polyfill 前提: 严格的来说,HTTP协议无法做到服务端主动推送消息,但是,有一种方法,是服务器向客户端声明,接下来要发送的是流信息(streaming)。也就是说,发送的不是一次性的数据包,而是一个数据流,会连续不断的发送过来,这时,客户端不会关闭链接,会一直 ...
分类:其他好文   时间:2020-12-19 11:37:37    阅读次数:1
Spring Cloud (一):与 Spring Boot 的区别
Spring Boot 是一个快速开发框架,整合协调了包括 HTTP 服务器在内的许多三方框架,采用注解化的方式简化配置,其目的就是简化单个 Java 程序的开发和配置,使 Java 程序的开发更快速简便 Spring Cloud 更像是一个工具箱,提供了很多工具,帮助构建分布式系统,实现微服务,这 ...
分类:编程语言   时间:2020-12-18 12:50:48    阅读次数:2
如何在 Serverless K8s 集群中低成本运行 Spark 数据计算?
本节课主要介绍如何在 Serverless Kubernetes 集群中低成本运行 Spark 数据计算。首先简单介绍下阿里云 Serverless Kubernetes 和 弹性容器实例 ECI 这两款产品;然后介绍 Spark on Kubernetes;最后进行实际演示。
分类:其他好文   时间:2020-12-17 12:22:18    阅读次数:2
spark浅析
1、基本架构 (1)、应用程序Spark 应用程序由一个驱动器进程和一组执行器进程组成。驱动进程运行 main()函数,位于集群中的一个节点上,它负责三件事:维护 Spark 应用程序的相关信息;回应用户的程序或输入;分析任务并分发给若干执行器进行处理。驱动器是必须的,它是 Spark 应用程序的核 ...
分类:其他好文   时间:2020-12-17 12:09:25    阅读次数:2
Spring Boot整合H2测试DAO
使用场景在写DAO层的单元测试时,我们往往会遇到一个问题,测试用例所依赖的数据库数据被修改或删除了,或者在一个新的环境下所依赖的数据库不存在,导致单元测试无法通过,进而构建失败。在这种情况下,使用H2内存数据库来模拟数据库环境是一个很好的解决方案。介绍H2是一个短小精干的嵌入式数据库引擎,它有如下特点:纯Java编写,不受平台的限制;只有一个jar文件,适合作为嵌入式数据库使用;h2提供了一个十分
分类:编程语言   时间:2020-12-16 13:09:02    阅读次数:8
UVC_Streaming_control
struct uvc_streaming_control { __u16 bmHint; __u8 bFormatIndex; //视频格式索引 __u8 bFrameIndex; //视频帧索引 __u32 dwFrameInterval; //视频帧间隔 __u16 wKeyFrameRate; ...
分类:其他好文   时间:2020-12-16 11:56:30    阅读次数:2
spark-streaming与kafka的整合
1. 概述 在2.x中,spark有两个用来与kafka整合的代码,版本代号为0.8和0.10,由于在0.8,kafka有两套消费者api,根据高级api得到了Receiver-based Approach,根据低级api得到了Direct Approach,而在0.10由于kafka只有一套消费者 ...
分类:其他好文   时间:2020-12-16 11:50:30    阅读次数:4
21554条   上一页 1 ... 31 32 33 34 35 ... 2156 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!