AI 助理
备案控制台
开发者社区 云存储 技术博文 文章 正文

智能巡检云监控指标的最佳实践

2021-12-17 1010
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，20GB 3个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
云备份 Cloud Backup，100GB 3个月
日志服务 SLS，月写入数据量 50GB 1个月
简介： 在真实的企业生产中，对研发和运维的同学都会面临一个十分繁复且艰难的问题，就是对指标的监控和告警。具体我枚举一些特定的问题请对号入座，看看在算力爆炸的时代能否通过算力和算法一起解决！

背景介绍

在真实的企业生产中，对研发和运维的同学都会面临一个十分繁复且艰难的问题，就是对指标的监控和告警。具体我枚举一些特定的问题请对号入座，看看在算力爆炸的时代能否通过算力和算法一起解决！

  • 问题一：当一个新业务上线前，运维人员都需要明确服务的部署情况，确定监控对象，以及监控对象的一些可观测性指标，并根据此完成相关日志数据的采集和处理；这里面会涉及到很多日志采集、指标加工等一系列脏活累活；
  • 问题二：当确定了监控对象的黄金指标后，往往都需要先适配一组规则：某个接口每分钟的平均请求延时不要超过多少毫秒；单位分钟内的错误请求数量，不要超过多少等等；就如上图所示，从操作系统维度去看，每个个体有上百种形态各异的指标，切指标的形态有不尽相同，试问要多少种规则才能较好的覆盖到上述监控；
  • 问题三：随着业务逐步对外提供服务，以及各种运营活动的加推，我们运维监控同学一定会面临两个突出的问题：误报太多和漏报的风险，那么这两个问题都在现阶段都需要人工介入，进行阈值的调整；尤其是漏报的问题，更加需要人工盯屏的形式，设计新的监控规则去覆盖一些事件；

随着各个云上服务的SLA要求的提升，企业服务也需要不断的提供问题发现的准确性和速度，在这一点上，自动化的主动巡检监控和秒级别的监控越来越被广大客户所重视。SLS提供了对于指标数据的高效的存储格式，并完全兼容Prometheus协议的时序数据，并在这个场景中，提供了对于海量指标线的智能巡检，让您可以丢掉繁复的规则配置，通过简单的选择就可以实现通用的异常检测。

时序存储的介绍

SLS的日志存储引擎在2016年对外发布，目前承接阿里内部以及众多企业的日志数据存储，每天有数十PB的日志类数据写入。其中有很大一部分属于时序类数据或者用来计算时序指标，为了让用户能够一站式完成整个DevOps生命周期的数据接入、清洗、加工、提取、存储、可视化、监控、问题分析等过程，我们专门推出了时序存储的功能，与日志存储一道为大家解决各类机器数据的存储问题。

在SLS平台中，可以较为简单的将主机的监控数据、Prometheus监控数据通过Logtail直接写入，同时也有多种数据源的导入能力（阿里云监控数据）。本章主要通过对ECS机器数据和阿里云监控数据来说明如何对接SLS智能时序巡检能力。

智能异常分析介绍

智能异常分析应用是一个可托管、高可用、可扩展的服务，主要提供智能巡检、文本分析和根因诊断三大能力。本文介绍智能异常分析应用的产品架构、功能优势、适用场景、核心名词、使用限制和费用说明等信息。

智能异常分析应用围绕运维场景中的监控指标、程序日志、服务关系等核心要素展开，通过机器学习等手段产生异常事件，通过服务拓扑关联分析时序数据和事件，最终降低企业的运维复杂度，提高服务质量。产品架构图如下所示。

在如下场景中，推荐使用智能异常分析应用。

  • 观察对象多且每个观察对象的观测维度也多。
  • 观测对象没有明确的阈值规则，但需要关注指标的形态。
  • 需要对观测对象编写大量的业务规则。
  • 处理非结构化的日志数据时，需要对文本日志中的模式进行挖掘。

接下来我们在云监控指标数据场景中使用下

场景实验

智能监控云监控指标

云监控数据接入

通过[官网文档](https://help.aliyun.com/document_detail/171780.html)可以较好的配置云监控的导入任务。通过配置后，可以按照如下截图去查看对应的导入任务

我们可以在SLS控制台上查看对应的导入指标，对应各个指标的名称可以参考[这篇文档](https://metricmeta.oss-cn-hangzhou.aliyuncs.com/listMetricMeta_zh.html)。我们可以通过如下查询语句查看下聚合的数据格式：

*|select promql_query_range('acs_ecs_dashboard:cpu_system:Average')from metrics limit100000

云监控数据预览

通过【查询页面右上角的查询页面】按钮，可以跳转过去查看下具体的数据格式。

*|select __time_nano__  /1000000astime, __name__ as metric_name, element_at(__labels__,'instanceId')as instanceId from"test01.prom"where __name__ !=''and __name__ ='acs_ecs_dashboard:cpu_system:Average'orderbytime, instanceId limit100000

通过这条SQL语句，我们可以详细的分析出，写入到SLS中的具体的指标（某个监控对象，某个指标在什么时间的值是多少）。上述SQL语句仅仅罗列了在 2021-12-12 19:37~2021-12-12 19:38 这个时间区间的全部监控对象的监控指标，接下来，我们通过简单的改写，仅仅显示某个单独的监控对象在一分钟的数据形态。

*|select date_trunc('second',time)as format,*from(select __time_nano__  /1000000astime, __name__ as metric_name, element_at(__labels__,'instanceId')as instanceId from"test01.prom"where __name__ !=''and __name__ ='acs_ecs_dashboard:cpu_system:Average')where instanceId ='xxxx'orderbytimelimit100000

我们可以看到对于监控指标等于“acs_ecs_dashboard:cpu_system:Average”而言，某个特定的实例是每隔15秒一个监控指标。但是由于我们使用的数据导入，将结果写入到SLS的MetricStore中，因此是每分钟写入如一分钟的监控数据。

这里要在强调一下：SLS侧是是通过OpenAPI去获取云监控的指标数据的，数据导入SLS是有一定的延时的，具体延时大约在3分钟左右，也就是说在 T0 时刻，SLS中的数据只能保证 [T0-300s] 之前的数据时一定按时写入的。这一点在后续的巡检任务配置过程中至关重要。

我们通过PromQL在简化下上边的描述，我们继续使用对应的指标 "acs_ecs_dashboard:cpu_system:Average"，通过如下的语句可以得到预期的结果，这已经距离我们创建巡检任务已经很接近了。

*|select promql_query_range('avg({__name__=~"acs_ecs_dashboard:cpu_system:Average"}) by (instanceId, __name__) ','15s')from metrics limit1000000

筛选监控指标

通过如下的Query可以大概知道在云监控关于ECS提供了多少监控指标：

*|selectCOUNT(*)as num from(selectDISTINCT __name__ from"test01.prom"where __name__ !=''and __name__ like'%acs_ecs_dashboard%'limit10000)

得到的结果是295个结果，但是我们没有比较全部都进行巡检配置，因此第一步就是要根据[指标说明文档](https://metricmeta.oss-cn-hangzhou.aliyuncs.com/listMetricMeta_zh.html)选择需要监控的指标项，这里我提供一份简单整理出来的比较重要的指标集合，供大家参考：

  • acs_ecs_dashboard:CPUUtilization:Average
  • acs_ecs_dashboard:DiskReadBPS:Average
  • acs_ecs_dashboard:DiskReadIOPS:Average
  • acs_ecs_dashboard:DiskWriteBPS:Average
  • acs_ecs_dashboard:DiskWriteIOPS:Average
  • acs_ecs_dashboard:InternetIn:Average
  • acs_ecs_dashboard:InternetInRate:Average
  • acs_ecs_dashboard:InternetOut:Average
  • acs_ecs_dashboard:InternetOutRate:Average
  • acs_ecs_dashboard:InternetOutRate_Percent:Average
  • acs_ecs_dashboard:IntranetIn:Average
  • acs_ecs_dashboard:IntranetInRate:Average
  • acs_ecs_dashboard:IntranetOut:Average
  • acs_ecs_dashboard:IntranetOutRate:Average
  • acs_ecs_dashboard:cpu_idle:Average
  • acs_ecs_dashboard:cpu_other:Average
  • acs_ecs_dashboard:cpu_system:Average
  • acs_ecs_dashboard:cpu_total:Average
  • acs_ecs_dashboard:cpu_user:Average
  • acs_ecs_dashboard:cpu_wait:Average
  • acs_ecs_dashboard:disk_readbytes:Average
  • acs_ecs_dashboard:disk_readiops:Average
  • acs_ecs_dashboard:disk_writebytes:Average
  • acs_ecs_dashboard:disk_writeiops:Average
  • acs_ecs_dashboard:load_1m:Average
  • acs_ecs_dashboard:load_5m:Average
  • acs_ecs_dashboard:memory_actualusedspace:Average
  • acs_ecs_dashboard:memory_freespace:Average
  • acs_ecs_dashboard:memory_freeutilization:Average
  • acs_ecs_dashboard:memory_totalspace:Average
  • acs_ecs_dashboard:memory_usedspace:Average
  • acs_ecs_dashboard:memory_usedutilization:Average
  • acs_ecs_dashboard:net_tcpconnection:Average
  • acs_ecs_dashboard:networkin_errorpackages:Average
  • acs_ecs_dashboard:networkin_packages:Average
  • acs_ecs_dashboard:networkin_rate:Average
  • acs_ecs_dashboard:networkout_errorpackages:Average
  • acs_ecs_dashboard:networkout_packages:Average
  • acs_ecs_dashboard:networkout_rate:Average

根据上述配置，生成对应的查询PromQL如下：

*|select promql_query_range('avg({__name__=~"acs_ecs_dashboard:CPUUtilization:Average|acs_ecs_dashboard:DiskReadBPS:Average|acs_ecs_dashboard:DiskReadIOPS:Average|acs_ecs_dashboard:DiskWriteBPS:Average|acs_ecs_dashboard:DiskWriteIOPS:Average|acs_ecs_dashboard:InternetIn:Average|acs_ecs_dashboard:InternetInRate:Average|acs_ecs_dashboard:InternetOut:Average|acs_ecs_dashboard:InternetOutRate:Average|acs_ecs_dashboard:InternetOutRate_Percent:Average|acs_ecs_dashboard:IntranetIn:Average|acs_ecs_dashboard:IntranetInRate:Average|acs_ecs_dashboard:IntranetOut:Average|acs_ecs_dashboard:IntranetOutRate:Average|acs_ecs_dashboard:cpu_idle:Average|acs_ecs_dashboard:cpu_other:Average|acs_ecs_dashboard:cpu_system:Average|acs_ecs_dashboard:cpu_total:Average|acs_ecs_dashboard:cpu_user:Average|acs_ecs_dashboard:cpu_wait:Average|acs_ecs_dashboard:disk_readbytes:Average|acs_ecs_dashboard:disk_readiops:Average|acs_ecs_dashboard:disk_writebytes:Average|acs_ecs_dashboard:disk_writeiops:Average|acs_ecs_dashboard:load_1m:Average|acs_ecs_dashboard:load_5m:Average|acs_ecs_dashboard:memory_actualusedspace:Average|acs_ecs_dashboard:memory_freespace:Average|acs_ecs_dashboard:memory_freeutilization:Average|acs_ecs_dashboard:memory_totalspace:Average|acs_ecs_dashboard:memory_usedspace:Average|acs_ecs_dashboard:memory_usedutilization:Average|acs_ecs_dashboard:net_tcpconnection:Average|acs_ecs_dashboard:networkin_errorpackages:Average|acs_ecs_dashboard:networkin_packages:Average|acs_ecs_dashboard:networkin_rate:Average|acs_ecs_dashboard:networkout_errorpackages:Average|acs_ecs_dashboard:networkout_packages:Average|acs_ecs_dashboard:networkout_rate:Average"}) by (instanceId, __name__) ','1m')from metrics limit1000000

对于一般场景而言，我们可以在简化一些指标，这里直接提供对应的PromQL如下：

*|select promql_query_range('avg({__name__=~"acs_ecs_dashboard:CPUUtilization:Average|acs_ecs_dashboard:DiskReadBPS:Average|acs_ecs_dashboard:DiskReadIOPS:Average|acs_ecs_dashboard:DiskWriteBPS:Average|acs_ecs_dashboard:DiskWriteIOPS:Average|acs_ecs_dashboard:InternetIn:Average|acs_ecs_dashboard:InternetInRate:Average|acs_ecs_dashboard:InternetOut:Average|acs_ecs_dashboard:InternetOutRate:Average|acs_ecs_dashboard:InternetOutRate_Percent:Average|acs_ecs_dashboard:IntranetOut:Average|acs_ecs_dashboard:IntranetOutRate:Average|acs_ecs_dashboard:cpu_idle:Average|acs_ecs_dashboard:cpu_other:Average|acs_ecs_dashboard:cpu_system:Average|acs_ecs_dashboard:cpu_total:Average|acs_ecs_dashboard:cpu_user:Average|acs_ecs_dashboard:cpu_wait:Average|acs_ecs_dashboard:disk_readbytes:Average|acs_ecs_dashboard:disk_readiops:Average|acs_ecs_dashboard:disk_writebytes:Average|acs_ecs_dashboard:disk_writeiops:Average|acs_ecs_dashboard:load_1m:Average|acs_ecs_dashboard:load_5m:Average|acs_ecs_dashboard:memory_freespace:Average|acs_ecs_dashboard:memory_freeutilization:Average|acs_ecs_dashboard:memory_totalspace:Average|acs_ecs_dashboard:memory_usedspace:Average|acs_ecs_dashboard:memory_usedutilization:Average"}) by (instanceId, __name__) ','1m')from metrics limit1000000

配置智能巡检任务

在【[SLS控制台](https://sls.console.aliyun.com/lognext/profile)】中找到【智能异常分析】的入口，经过简单的初始化后，可以通过【智能巡检】的任务入口进入，找到对应的配置页面。在作业配置的过程中，应该注意这里要选择时序库，否则无法找到存储云监控数据的MetricStore。

在特征配置中，通过如下的Query进行配置，这里也有几点需要注意的说明：

  • 通过SQL转写一下，并对time字段进行处理，因为在巡检中，接受的时间的单位是秒，而PromQL得到的结果中time是毫秒；
  • 通过element_at算子，提取出对应的实例ID(instanceId)；
  • 目前在配置粒度时，最小只支持60秒；
*|selecttime/1000astime, metric, element_at(labels,'instanceId')as instanceId, value from(select promql_query_range('avg({__name__=~"acs_ecs_dashboard:CPUUtilization:Average|acs_ecs_dashboard:DiskReadBPS:Average|acs_ecs_dashboard:DiskReadIOPS:Average|acs_ecs_dashboard:DiskWriteBPS:Average|acs_ecs_dashboard:DiskWriteIOPS:Average|acs_ecs_dashboard:InternetIn:Average|acs_ecs_dashboard:InternetInRate:Average|acs_ecs_dashboard:InternetOut:Average|acs_ecs_dashboard:InternetOutRate:Average|acs_ecs_dashboard:InternetOutRate_Percent:Average|acs_ecs_dashboard:IntranetOut:Average|acs_ecs_dashboard:IntranetOutRate:Average|acs_ecs_dashboard:cpu_idle:Average|acs_ecs_dashboard:cpu_other:Average|acs_ecs_dashboard:cpu_system:Average|acs_ecs_dashboard:cpu_total:Average|acs_ecs_dashboard:cpu_user:Average|acs_ecs_dashboard:cpu_wait:Average|acs_ecs_dashboard:disk_readbytes:Average|acs_ecs_dashboard:disk_readiops:Average|acs_ecs_dashboard:disk_writebytes:Average|acs_ecs_dashboard:disk_writeiops:Average|acs_ecs_dashboard:load_1m:Average|acs_ecs_dashboard:load_5m:Average|acs_ecs_dashboard:memory_freespace:Average|acs_ecs_dashboard:memory_freeutilization:Average|acs_ecs_dashboard:memory_totalspace:Average|acs_ecs_dashboard:memory_usedspace:Average|acs_ecs_dashboard:memory_usedutilization:Average"}) by (instanceId, __name__) ','1m')from metrics )limit10000

在下面的【算法配置】、【调度配置】中需要注意如下：

【时间范围】- 要选择当前时间的两天前，让算法有充足的数据进行学习，这样效果更好；

【数据延时时长】- 由于我们处理的是通过导入服务导入的云监控的数据，一般整体的链路延时最多不会超过300s，因此这里要选择300秒，防治观测丢点。

配置告警

通过SLS中提供的[新版告警](https://help.aliyun.com/document_detail/207608.html)可以非常方便的对接机器学习的告警配置。您可以使用一整套告警的能力，对您的告警进行管理。

建议您使用普通模式却设置告警，在【行动策略】这一栏中，选择我们内置的行动策略(sls.app.ml.builtin)，这里我们已经配置好了，具体可以在告警配置中进行查看，查看地址具体：

https://sls.console.aliyun.com/lognext/project/${projectName}/alertcenter?tab=action_policy

这里您要制定对应的请求地址（钉钉机器人的地址webhook），内容模板选择【SLS智能巡检内置内容模板】。这样可以将【告警配置】与【巡检作业配置】解耦开来，后续用户需求修改【巡检作业】配置就可以实现告警配置的更新。至此，我们在【云监控数据】中配置巡检算法的操作就完成了。

参考链接

文章标签：
云监控
云服务器 ECS
日志服务
Cloud Native
机器学习/深度学习
弹性计算
SQL
监控
运维
算法
数据格式
存储
Prometheus
关键词：
云监控最佳实践
云监控指标
相关实践学习
基于云监控实现的监控系统
通过阿里云云监控功能给非阿里云主机安装监控插件，从而实现对非阿里云主机的各项指标进行监控和管理，在配置报警规则和报警人的情况下，能对特定的场景做出报警反应通知到报警人的手机上。
Guiyang
目录
相关文章
阿里云云原生
|
2月前
|
弹性计算 运维 监控
云监控治理检测：云监控的自助化最佳实践
云监控提供了治理检测功能，能够帮助企业评估和提升其在运用云监控方面的能力，从而更好地应对这些挑战。它基于用户对资源的使用情况来推测用户所需的监控能力，帮助用户检测云监控的相关功能，并提供一键修复或治理建议，让用户自助化地运用云监控的最佳实践，构建一套完善的监控体系。
阿里云云原生
107 6
婷宝
|
监控 Kubernetes 容器
云监控报警最佳实践之无数据策略
本文介绍了云监控报警中的无数据策略，通过该策略用户可以实现被监控对象无数据时的响应、处理。 ## 背景 云监控报警通常情况下是通过监控数据的阈值的判断来进行报警，比如cpu超过80%报警等。但有时候被监控对象的监控数据出现不连续或断掉的情况。如果要对这种情况进行报警，就需要配置无数据策略。 ## 配置无数据策略 首先进入[云监控控制台](https://cloudmonitor.console.
婷宝
602 2
云监控报警最佳实践之无数据策略
郭旭东x
|
监控 前端开发 运维
使用 Grafana 展示阿里云监控指标
本文介绍使用 Grafana 展示阿里云监控指标的方法，并提供了使用 helm chart 一键部署包含阿里云监控 dashboard 的 Grafana-Server。
郭旭东x
10943 0
江米
|
运维 监控 Java
【最佳实践】如何使用云监控+日志服务快速完成故障发现和故障定位
今天分享一篇开发小哥哥如何使用云监控和日志服务快速发现故障定位问题的经历。
江米
3413 1
江米
|
监控 网络协议 Linux
还在用命令行查问题吗？云监控提供30余种服务器监控指标，等你来用！
云监控主机监控上线啦，支持控制台一键安装和命令行手工安装，提供30余种监控指标、秒级频率、进程级粒度。
江米
35661 0
stefanie燕
小微企业阿里云最佳实践系列（四）：云监控与 SLS 日志服务
概述 阅读对象 本博文主要写给创业团队、技术团队人数 < 5 人、没有专业运维等小微企业作为参考，需要掌握基础的服务器管理、软件开发等经验。 博文主要内容 本博文主要为大家介绍阿里云提供的基础云监控、日志服务两大产品，通过云监控与日志服务可以做到每天不需要时刻关注所开发的软件系统、服务器、数据库等健康状况就掌握异常情况，并能及时进行应急响应和处理。
stefanie燕
1967 0
小哀女王
|
存储 监控 应用服务中间件
小微企业阿里云最佳实践系列（四）：云监控与 SLS 日志服务
本博文主要为大家介绍阿里云提供的基础云监控、日志服务两大产品，通过云监控与日志服务可以做到每天不需要时刻关注所开发的软件系统、服务器、数据库等健康状况就掌握异常情况，并能及时进行应急响应和处理。
小哀女王
2865 0
裴旻
|
监控 Linux
云监控内存使用率指标解释
裴旻
5131 0
江米
|
监控 容器
云监控最佳实践之-容器所有实例的热力图
### 背景： 从罗辑同学那里收到信息， 他们正在做一个容器服务上所有实例的各种指标的热力图。希望能够整体展示所有容器实例的负载情况。 这个需求不是个例，恰好，云监控的dashboard和容器服务监控两者结合可以满足这个需求场景。 ### 具体步骤如下： #### 使用云账号登录云监控控制台： https://cms.console.aliyun.com/#/home/e
江米
1245 0
江米
|
监控 容器
云监控最佳实践之-容器实例热力图
背景： 从某个客户那里收到信息， 他们正在做一个容器服务上所有实例的各种指标的热力图。希望能够整体展示所有容器实例的负载情况。 随着上云不断深入，越来越多的企业级用户选择将服务直接部署在容器服务里，容器实例越来越多，用户期望能够有一个大图显示所有容器实例的热力负载情况。
江米
2222 0
云存储

技术博文

热门文章

最新文章

  • 1
    U盘文件损坏且无法读取怎么修复？五个方法帮你搞定
  • 2
    【qemu虚拟化】将img镜像文件转换为VMware虚拟机
  • 3
    详解开源数据库审计平台Yearning
  • 4
    【推荐几款实用的网盘资源搜索引擎】
  • 5
    AI时代：云存储加速多模态数据存储与管理创新
  • 6
    OSS 深度解析：Data + AI 时代的对象存储
  • 7
    阿里云WoSign SSL证书申请指南_沃通SSL技术文档
  • 8
    Ubuntu 22.04 Samba 安装和配置
  • 9
    深入解读等保2.0
  • 10
    简单、有效、全面的Kubernetes监控方案
  • 1
    如何配置Windows主机MPIO多路径访问存储系统
    41
  • 2
    阿里云WoSign SSL证书申请指南_沃通SSL技术文档
    2216
  • 3
    OSS 深度解析：Data + AI 时代的对象存储
    132
  • 4
    兰空图床Typecho上传插件LskyPluginTypechoV2安装及使用教程
    37
  • 5
    数据湖面向AI场景的进化
    111
  • 6
    电视盒子部署云相册
    42
  • 7
    NAS部署Alist、Nextcloud、File Browser，贝锐花生壳实现远程访问
    78
  • 8
    面向AI场景的数据处理和数据检索
    298
  • 9
    Ubuntu 22.04 Samba 安装和配置
    579
  • 10
    SMB协议基础篇
    512

    • 相关课程

    更多
  • 云拨测产品能力与应用场景解读
  • 运维监控系统
  • 云产品可观测平台Alibaba CloudLens能力介绍
  • 日志服务 SLS 可观测数据分析平台介绍
  • 日志服务SLS实现云产品可观测
  • 业务全链路追踪最佳实践

    • 相关电子书

    更多
  • 《阿里云云拨测发布》PDF
  • ARMS 智能告警套件最佳实践
  • 阿里云应用性能管理(APM)产品-应用实时监控服务(ARMS

    • 相关实验场景

    更多
  • 配置流程编排实现根据天气情况播放歌曲
  • 在SAE控制台极速部署个人LLM效能工具
  • 基于DTS构建一站式实时数据服务
  • 基于OpenTelemetry构建全链路追踪与监控
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
    • 下一篇
    DataWorks智能数据建模全面公测开始啦！