开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 采集mertics的时候,可以指定只采集需要的mertics么?

flink 采集mertics的时候,可以指定只采集需要的mertics么?全都采集太多了。pushgateway顶不住。

展开
收起
三分钟热度的鱼 2023-08-29 19:27:40 89 0
1 条回答
写回答
取消 提交回答
  • 是的,您可以在 Flink 中指定只采集您需要的指标(metrics),而不是采集所有指标。通过配置 Flink 的 metric.reporters 和 metrics.scope.* 属性,您可以选择性地启用或禁用特定的指标。

    具体来说,在 Flink 的配置文件(flink-conf.yaml)中,您可以设置以下属性来控制指标的采集:

    metric.reporters:指定要使用的指标报告器,默认情况下是使用 JMXReporter,您可以添加其他报告器。例如: metric.reporters: prom。
    metrics.scope.jm.job:指定要采集的作业级别的指标。例如: metrics.scope.jm.job: ["numRecordsInPerSecond", "numRecordsOutPerSecond"]。
    metrics.scope.tm.job.task:指定要采集的任务级别的指标。例如: metrics.scope.tm.job.task: ["numBytesInLocalPerSecond", "numBytesOutRemotePerSecond"]。
    通过设置这些属性,您可以仅选择要采集的指标,以减少对 PushGateway 的压力。

    另外,如果您使用的是 Prometheus 来收集和存储指标,您还可以使用 Prometheus 的 relabel_configs 功能来过滤或重命名指标,以进一步减少 PushGateway 的负载。

    请注意,配置的具体细节可能因 Flink 版本而有所不同,建议查阅相应版本的官方文档以获取准确的配置信息。

    2023-09-18 16:56:17
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载