开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位大佬,请教一下如何监听获取同步失败的数据信息,有什么方案吗

各位大佬,请教一下如何监听获取同步失败的数据信息,有什么方案吗

展开
收起
游客3oewgrzrf6o5c 2022-08-03 13:55:54 259 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    如果您想监听获取同步失败的数据信息,可以使用Kafka提供的可选配置。其中一种方案是使用Kafka Connect同步任务。 Kafka Connect同步任务用于将数据从源数据源(如数据库或文件)同步到Kafka主题中。Kafka Connect提供了可选的配置来指示同步任务是否需要等待源数据源的确认。这个配置被称为"max.ms"。 如果您设置了"max.ms"配置,并且源数据源同步失败,Kafka Connect将等待一段时间后重试。您可以配置Kafka Connect同步任务以在同步失败时发送警报或错误消息到指定的Kafka主题。 Kafka Connect还提供了可选的"check.ms"配置,用于指示Kafka Connect同步任务在等待数据时要检查源数据源的数据是否正确。如果源数据源的数据不正确,Kafka Connect将不会等待并立即重试。 您可以使用Kafka Connect的REST API来管理和监视Kafka Connect同步任务。您可以使用Kafka Connect REST API创建、管理和监视同步任务,并配置它们以在同步失败时发送警报或错误消息到指定的Kafka主题。 希望这些信息能帮到您。如果您需要更多关于Kafka Connect同步任务的信息,请查看Kafka Connect官方文档。

    2023-07-06 20:55:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
面向失败设计 立即下载
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时 立即下载
“静态调用链路发现”应用场景分析及实践探索 立即下载