官方后续会有支持kafka lag metric的计划吗
目前消费kafka会有lag的情况发生，因此想基于flink metric进行上报监控kakfa的消费延时情况 主要是两种情况： 1、当前group消费的offset和对应topic最大offset之间的差值，也就是积压的数据量 2、当前消费的最新记录的timestamp和系统时间之间的差值，也就是消费的时间延时
kafka lag的监控对实时任务的稳定运行有着非常重要的作用， 网上也检索到了一些基于源码修改的实现，但修改源码的话也不利于后面flink版本的升级，还是希望官方可以考虑支持一下*来自志愿者整理的flink
展开
收起
1
条回答
写回答
写回答
-
hi, 对于你提到的第一种方案，我觉得在 flink 里面是做不到的，因为 flink 只可以拿得到消费数据的 offset 信息，但是拿不到 kafka 里面该 topic 具体分区最新的 offset 值，那么也就无法相减得到每个分区的 lag，从而无法获取整个 topic 的 lag。
对于第二种方案，我觉得是可行的，可以在自己作业里面埋点（当前系统时间与消费到的数据的事件时间的差值），然后每个并行度分别上报，最后监控页面可以看到作业分区延迟最大是多长时间。*来自志愿者整理的flink
2021-12-05 22:37:40赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
