开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬们有flink on k8s mertics监控的实践么?

大佬们有flink on k8s mertics监控的实践么?
目前遇到一个问题,mertics已经通过PrometheusReporter 推到pod的端口下了,但是k8s的pod是容器,需要和k8s的节点做映射,Prometheus才能采集得到。这一块有大佬了解怎么处理么 ?

展开
收起
三分钟热度的鱼 2023-08-29 19:27:41 108 0
1 条回答
写回答
取消 提交回答
  • 有一些在 Flink on Kubernetes 上监控指标的实践方法。下面是一种常见的方法:

    使用 Prometheus Operator:Prometheus Operator 是 Kubernetes 上的一个开源项目,用于自动化部署和管理 Prometheus 和相关组件。您可以使用 Prometheus Operator 来部署 Prometheus 和 Alertmanager。

    部署 Prometheus:使用 Prometheus Operator 部署 Prometheus 实例。Prometheus 将用于收集和存储 Flink 的指标数据。

    配置 Prometheus 规则:使用 Prometheus 的规则配置文件,定义要收集的 Flink 指标。您可以根据需要选择性地收集特定的指标。

    选择 Exporter:选择一个适用于 Flink 的 Prometheus Exporter。Flink 自带的 Prometheus Exporter 可以导出 Flink 的内置指标,但也可以使用第三方的 Exporter,如 flink-metrics-prometheus。

    部署 Exporter:将 Exporter 部署到 Flink on Kubernetes 的每个 TaskManager 上。Exporter 将 Flink 的指标数据导出到 Prometheus。

    配置 Alertmanager:使用 Prometheus Operator 部署 Alertmanager,并配置警报规则。Alertmanager 将根据这些规则发送警报通知。

    通过以上步骤,您可以在 Flink on Kubernetes 集群中正确配置 Prometheus、Exporter 和 Alertmanager,以监控和报警 Flink 的指标数据。

    2023-09-18 16:56:58
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像