Spark Streaming处理流程中,遇到某些批次耗时长的问题,排查思路
分类:
其他好文 时间:
2020-11-18 13:12:54
阅读次数:
8
背景: 最近公司有个需求要求可以导入、导出excel,因此在此记录学习一下如何使用Springboot整合easyExcel;需求:数据库中有张user表,有个业务要求可以导入、导出“用户名单.xls”表 一、准备: 创建项目:关于springboot项目如何创建这里不再赘述,放一张项目结构图:1、 ...
分类:
编程语言 时间:
2020-11-18 12:49:12
阅读次数:
10
主要有2种方式: 指定一条消息的过期时间。 给队列设置消息过期时间,队列中的所有消息都有同样的过期时间。 1、指定消息的过期时间 @RestController public class TTLController { @Autowired private RabbitTemplate rabbit ...
分类:
编程语言 时间:
2020-11-18 12:39:01
阅读次数:
6
SSM框架整合 环境 IDEA MySQL 5.7.19 Tomcat 9 Maven 3.6 项目要求 数据库方面知识 Spring,SpringMVC、 Mybatis,javaWeb H5,css,js,jquery,Bootstrap... 开始搭建项目 第一步:数据库 # 根据项目的要求创 ...
分类:
其他好文 时间:
2020-11-18 12:24:29
阅读次数:
4
Swagger-UI简介 Swagger-UI Swagger-UI是HTML, Javascript, CSS的一个集合,可以动态地根据注解生成在线API文档。 常用注解 @Api:用于修饰Controller类,生成Controller相关文档信息 @ApiOperation:用于修饰Contr ...
分类:
编程语言 时间:
2020-11-16 13:40:39
阅读次数:
13
package com.atguigu.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org ...
分类:
其他好文 时间:
2020-11-16 13:25:07
阅读次数:
3
12个行业月均阅读超100亿,看Spark如何助力微博Feed算法提升活跃度#编者按:本文由高可用架构向黄波约稿,介绍黄波在SparkSummitChina2016中的演讲精华,并侧重对微博系统和Feed系统进行了更多的介绍。黄波,2010年加入新浪微博,微博研发中心Feed技术专家,负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理,致力于将分布式计
分类:
编程语言 时间:
2020-11-16 13:06:48
阅读次数:
9
保证分布式系统数据一致性的6种方案编者按:本文由「高可用架构后花园」群讨论整理而成,后花园是一个面向架构师的增值服务,如需了解,请关注「高可用架构」后回复VIP有人的地方,就有江湖有江湖的地方,就有纷争问题的起源在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性?具体业务场景如下,比如一个业务操作,如果同时调用服务A、B、C,需要满足要么同时成功;要么同时失败。A、B
分类:
其他好文 时间:
2020-11-16 13:03:44
阅读次数:
4
一.整合swagger2 1. 加依赖 <!-- 引入swagger2 --> <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger-ui</artifactId> <version>2.9.2</ver ...
分类:
编程语言 时间:
2020-11-16 12:58:29
阅读次数:
17
1. 前言 Spring Security实战干货系列 现在很多项目都有第三方登录或者第三方授权的需求,而最成熟的方案就是OAuth2.0授权协议。Spring Security也整合了OAuth2.0,在目前最新的Spring Security 5中整合了OAuth2.0的客户端,我们可以很方便的 ...
分类:
编程语言 时间:
2020-11-16 12:57:37
阅读次数:
15