数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
https://www.cnblogs.com/better-farther-world2099/p/9290966.html undolog实现事务原子性，redolog实现事务的持久性。 为了避免脏数据刷回磁盘过程中，掉电或系统故障带来的数据丢失问题，InnoDB采用事务日志（redo log） ...
分类：
数据库 时间：
2021-07-12 18:26:14
阅读次数：
0
首先： ELK 是 Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各 ...
分类：
编程语言 时间：
2021-07-12 18:25:34
阅读次数：
0
通信协议 Redis是单进程单线程的。 应用系统和Redis通过Redis协议（RESP）进行交互。 请求响应模式 Redis协议位于TCP层之上，即客户端和Redis实例保持双工的连接。 串行的请求响应模式（ping-pong） 串行化是最简单模式，客户端与服务器端建立长连接 连接通过心跳机制检测 ...
分类：
其他好文 时间：
2021-07-12 18:19:20
阅读次数：
0
linux基础命令 linux内核及发行版 linux内核是操作系统内部操作和控制硬件设备的核心程序。 linux发行版是linux内核与各种常用软件的组合产品，通俗的来说就是我们常说的linux操作系统。 常用的linux发行版： Ubuntu CentOS Redhat 通常说的linux是li ...
分类：
系统相关 时间：
2021-07-12 18:03:00
阅读次数：
0
文章目录 7.1 `List`容量初始化7.2 元素个数确定时推荐使用Tuple7.3 推荐使用局部变量引用频繁使用的外界对象7.4 尽量使用`generator comprehension`代替`listcomprehension`7.5 使用字符串格式化方式代替"+"和"+="操作符7.1 Li ...
分类：
编程语言 时间：
2021-07-12 17:58:09
阅读次数：
0
文章目录 8.1 可变参数默认值设为`None`8.2 对子类继承的变量要做显式定义和赋初值8.3 严禁使用注释行等形式仅使功能失效8.4 慎用`copy`和 `deepcopy`8.5 系统路径推荐使用 `pathlib.Path`8.6 使用`subprocess`模块代替`os.system` ...
分类：
编程语言 时间：
2021-07-12 17:57:57
阅读次数：
0
文章目录 9.1 异常行为9.1.1 禁止抑制或者忽略已检查异常9.1.2 禁止在异常中泄露敏感信息9.1.3 方法发生异常时要恢复到之前的对象状态9.2 运行环境9.2.1 生产代码不能包含任何调试入口点9.2.2 使用标准的API替代操作系统的系统命令9.2.3 禁止从第3方源下载并使用软件包9 ...
分类：
编程语言 时间：
2021-07-12 17:57:29
阅读次数：
0
什么是 epoll？ epoll 是 Linux 内核的可扩展 I/O 事件通知机制。取代了 select 与 poll 系统函数，让需要大量操作文件描述符的程序得以发挥更优异的性能。旧有的系统函数所花费的事件复杂度为 O(1)，epoll 的时间复杂度为 O(logn)。epoll 实现的功能与 ...
分类：
其他好文 时间：
2021-07-12 17:56:41
阅读次数：
0
一、简介 粒子群算法源于复杂适应系统（Complex Adaptive System,CAS）。CAS理论于1994年正式提出，CAS中的成员称为主体。比如研究鸟群系统，每个鸟在这个系统中就称为主体。主体有适应性，它能够与环境及其他的主体进行交流，并且根据交流的过程“学习”或“积累经验”改变自身结构 ...
分类：
编程语言 时间：
2021-07-12 17:54:14
阅读次数：
0
