ModelScope的LLM部署后，大模型本身有没有提供metrics监控指标？

对,ModelScope部署的LLM模型本身会提供一些监控指标,主要包括:

推理时间:每个请求的响应时间,可以观察吞吐和延迟水平。

错误率:请求处理过程中的各类错误数量,判断模型和系统是否健康。

请求来源:不同来源的请求量,了解流量分布。

常用词统计:模型响应中频繁出现的词汇等统计指标。

Capacity:模型剩余可用容量,了解是否需要扩容。

并发数:同时并发请求数,了解负载水平。

请求分布:不同类型请求的分布,监控业务动态。

ModelScope提供Prometheus指标导出,可以整合监控系统进行实时查看这些metrics。

一些常见的监控系统如:

Grafana眼:以可视化dashboard方式展示。

Alertmanager:配置警告告警规则。

Parser:解析日志提取自定指标。