数据积压

标签：set   失败   写入   partition   超时   分区   min   场景   world   

• 数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。
• 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark streaming/flink可以实现背压机制，但是数据累积太多一定对实时系统的实时性有影响的。
• 日常比较常见的积压场景是：数据写入到MySQL失败，导致消费者分区的offset一直没被提交，导致积压；还有比较常见的就是网络延迟导致消费失败，由于网络抖动，产生消费超时失败。

数据积压

标签：set   失败   写入   partition   超时   分区   min   场景   world   

原文地址：https://www.cnblogs.com/xxeleanor/p/15004595.html