我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex）。当然，如 ...
分类：
其他好文 时间：
2020-06-08 00:17:30
阅读次数：
63
场景需求：需要在指定的库里找出符合特定模式的key 首先是keys这个指令，它后面接上一个正则pattern，就能够找出这个实例中所有符合这个pattern的key，但是这个指令有两个缺陷： 1.没有offset和limit参数，一次性返回所有满足条件的key，当符合条件的key很多的时候，想想就头 ...
分类：
其他好文 时间：
2020-06-07 19:16:31
阅读次数：
142
// obj 目标对象 target 目标位置 function animate(obj, target, callback) { // 清除原先定时器 clearInterval(obj.timer); obj.timer = setInterval(function() { // 步长值写到定时 ...
分类：
其他好文 时间：
2020-06-07 19:14:31
阅读次数：
80
Callback API 用于跟踪epoch期间各种状态的回调函数。主要有6个类： 1. mxnet.callback.module_checkpoint(mod, prefix, period=1, save_optimizer_states=False) [source] 参数： mod：Bas ...
一、启动zookeeperzkServer.sh start 二、kafka操作//进入目录cd /software/kafka_2.11-2.4.1// (启动kafka)kafka-server-start.sh -daemon config/server.properties//创建分区kaf ...
分类：
其他好文 时间：
2020-06-06 11:04:34
阅读次数：
50
kafka的消费者 @ 内容大纲 深入学习kafka数据消费大致流程 创建并使用消费者 kafka消费者常用配置 1.重要概念 消费者和消费组 消费者负责订阅 Kafka 中的主题（Topic），并且从订阅的主题上拉取消息。 与其他一些消息中间件不同的是：在 Kafka 中还有一层消费组（Consu ...
分类：
其他好文 时间：
2020-06-05 21:25:49
阅读次数：
71
小灰工作3年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，小灰心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka，有哪种场景下需要使用 JMS，小灰一脸问号。工作几年来，接触了 Kafka，Elasticsea ...
分类：
其他好文 时间：
2020-06-05 13:10:08
阅读次数：
56
在 Elasticsearch、Kibana、Beats 安装 中讲到推荐架构： 本文基于 Logstash + Beats 读取 Spring Boot 日志 将其改为上述架构 如果没有安装 Kafka 需要首先安装：http://kafka.apache.org/quickstart ，如果需要 ...
分类：
其他好文 时间：
2020-06-05 13:04:50
阅读次数：
48
-- 查看日志空间占用率DBCC SQLPERF ( LOGSPACE) SELECT TOP 10 st.text AS SQL_Full --父级完整语句 ,SUBSTRING(st.text, (qs.statement_start_offset/2) + 1, ((CASE statemen ...
分类：
数据库 时间：
2020-06-05 11:40:26
阅读次数：
67
前言 随着互联网的兴起,技术的整体架构设计思路有了质的提升，曾经Web开发必不可少的内置对象Session已经被慢慢的遗弃。主要原因有两点，一是Session依赖Cookie存放SessionID，即使不通过Cookie传递，也要依赖在请求参数或路径上携带Session标识，对于目前前后端分离项目来 ...
分类：
Web程序 时间：
2020-06-05 01:05:59
阅读次数：
79
