码迷,mamicode.com
首页 >  
搜索关键字:spark kafka redis genericobjectpoolconfig genericobjectpool    ( 33556个结果
框架篇:分布式全局唯一ID
前言 每一次HTTP请求,数据库的事务的执行,我们追踪代码执行的过程中,需要一个唯一值和这些业务操作相关联,对于单机的系统,可以用数据库的自增ID或者时间戳加一个在本机递增值,即可实现唯一值。但在分布式,又该如何实现唯一性的ID 分布式ID的特性 数据库自增的ID Redis分布式ID Zookee ...
分类:其他好文   时间:2021-06-28 19:46:13    阅读次数:0
接口优化(减少接口的响应时间)
优化标准:少于1s 接口响应快慢是相对的,比如在200w条数据里查询数据,接口本身就会慢点 可用apifox跑接口,看耗时多少ms 1.代码优化(比如for循环之类的),简化代码 2.慢sql优化(用得少,写的时候就不会用复杂的sql) 3.缓存优化(总之,能查询缓存的话(redis),尽量不要直接 ...
分类:其他好文   时间:2021-06-28 19:43:57    阅读次数:0
框架篇:分布式全局唯一ID
前言 每一次HTTP请求,数据库的事务的执行,我们追踪代码执行的过程中,需要一个唯一值和这些业务操作相关联,对于单机的系统,可以用数据库的自增ID或者时间戳加一个在本机递增值,即可实现唯一值。但在分布式,又该如何实现唯一性的ID 分布式ID的特性 数据库自增的ID Redis分布式ID Zookee ...
分类:其他好文   时间:2021-06-28 19:32:12    阅读次数:0
kafka梳理
关键点 概念的解析 kafka的架构图 架构深入 kafka的工作流程及文件存储机制 kafka的生产者:a.分区策略 b.数据可靠性保证 c.数据一致性保证 kafka的消费者:a.消费方式 b.分区分配策略 c.offset的维护 zookeeper的作用 Kafka常见面试题:根据问题去了解大 ...
分类:其他好文   时间:2021-06-28 18:56:22    阅读次数:0
Redis常用配置解析
默认情况下,Redis的配置文件存放在redis主目录下,文件名为redis.conf,通过此文件,可窥探一二 1、绑定IP—bind 默认为本机:127.0.0.1,配置如下: # Examples: # # bind 192.168.1.100 10.0.0.1 # listens on two ...
分类:其他好文   时间:2021-06-25 16:51:17    阅读次数:0
delta lake minio+dremio 集成试用
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类:其他好文   时间:2021-06-25 16:43:35    阅读次数:0
redis主从
一、主从怎么保持数据一致 Redis 的主从库同步有三种模式:全量复制、基于长连接的命令传播,以及增量复制。 1.第一次主从库同步 它们相互之间就可以通过 replicaof命令形成主库和从库的关系,之后会按照如下图所示三个阶段完成数据的第一次同步 FULLRESYNC 响应表示第一次复制采用的全量 ...
分类:其他好文   时间:2021-06-24 18:30:54    阅读次数:0
【Azure Redis 缓存】Azure Redis加入VNET后,在另一个区域(如中国东部二区)的VNET无法访问Redis服务(注:两个VNET已经结对,相互之间可以互ping)
问题描述 为了保护Redis资源,把它与VNET集成后,实现只能通过VNET内网访问。在东二的区域中部署两个Redis服务后,发现一个奇怪的现象:东1区中的VM资源通过全局对等互联(Peering)实现了资源的互通。但在验证测试中,发现VM能连接第一个Redis资源,而无法连接第二个Redis资源? ...
分类:Web程序   时间:2021-06-24 17:44:46    阅读次数:0
[Tips] redis的key自动过期策略
(引用自:https://blog.csdn.net/haoranhaoshi/article/details/109781570) redis出于性能上的考虑,无法做到对每一个过期的key进行即时的过期监听和删除。但是redis提供了其它的方法来清理过期的key。 1.被动清理(或者称惰性过期) ...
分类:其他好文   时间:2021-06-24 17:31:39    阅读次数:0
redis cluster如何支持pipeline
当我们要操作一批key时,可以通过 redis pipline 再执行完后一次性读取所有结果来较少网络传输的消耗; 很明显,这有个限制条件 ? 这批key的执行必须在同一个连接上 当部署的redis为 standalone 或 master-slave 结构的时候还好,可以从 pool 取出来的连接 ...
分类:其他好文   时间:2021-06-23 17:18:58    阅读次数:0
33556条   上一页 1 ... 3 4 5 6 7 ... 3356 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!