SLS智能巡检最佳实践:创建预测任务

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志服务 SLS 智能异常分析 APP 提供自动化、智能化模型训练能力,可以根据设定的历史数据区间进行监督建模。您可以使用模型训练任务通过监督的方式加强对自身数据的异常学习,来提升未来的异常预警的准确率,模型训练任务主要有以下优势:直接使用SLS的智能巡检功能,准确率不及预期,可以选择使用SLS的模型训练任务,来提升异常检测的准确性智能巡检检测出来的异常和您所认为的异常之间可能存在gap,这种情况

日志服务 SLS 智能异常分析 APP 提供自动化、智能化模型训练能力,可以根据设定的历史数据区间进行监督建模。您可以使用模型训练任务通过监督的方式加强对自身数据的异常学习,来提升未来的异常预警的准确率,模型训练任务主要有以下优势:

  1. 直接使用SLS的智能巡检功能,准确率不及预期,可以选择使用SLS的模型训练任务,来提升异常检测的准确性
  2. 智能巡检检测出来的异常和您所认为的异常之间可能存在gap,这种情况也建议您通过有监督的模型训练任务来自适应的检测所需要的异常类型。

阅读本文之前请先阅读:

SLS智能巡检最佳实践:针对有异常标签数据

智能巡检最佳实践:实现多维指标的巡检

流程概述

对于模型训练主要包含三个章节:针对有标签数据的配置、针对无标签数据的配置以及后续预测任务的配置

本文主要讲解预测任务的配置

模型训练作业中的预测任务,主要在模型训练任务完成并生成验证报告之后,对指定实体进行流式的异常检测。(创建的预测任务本质是智能巡检任务,与智能巡检结果和展示保持一致)

过程主要包含预测任务创建配置、数据处理和输出结果三个步骤。

  • 预测任务创建配置:通过模型训练结果展示中创建预测任务,通过选择特定的实体ID(即该实体对应的模型文件),以及选择预测开始时间、配置告警来进行预测任务的配置。
  • 数据处理:与智能巡检功能的数据处理一致,这里不赘述。
  • 输出结果:与智能巡检功能的数据处理一致,这里不赘述。

预测任务创建配置

在模型训练任务创建完成后,我们可以通过 智能异常分析 APP -> 模型训练 -> 作业标识 进入创建的模型训练作业,查看作业的结果。

在作业的结果页面,我们可以通过点击右上方的创建预测任务来打开创建界面:

创建预测任务界面如下:

  • 任务名:可以自定义,默认是模型训练任务名_predict
  • 实体表格: 可以通过左侧小方框来选择想要智能巡检的实体ID,可以通过实体信息进行选择
  • 起始时间: 对应于模型训练配置的结束时间(目前无法用户自主配置,后续会开放自由配置)
  • 数据延时时长:针对数据的写入延迟性设置(例如您当前的时间写入logstore中有60s的延迟,则此处最少设置60)
  • 告警配置: 如何获取钉钉请求地址,请参见 钉钉-自定义

此处也可以通过点击实体ID,继续点击创建预测任务,来打开创建预测任务配置界面,且通过这种方式可以自动的勾选选点击的实体ID

例如如下配置结束后点击完成

如果成功创建,界面会跳到实时检测界面,会出现我们刚才设置的任务名的预测任务(目前这个任务是不支持主动编辑的)

结果展示

点击作业标识:

可以查看特定实体的预测结果

相关 日志结果字段说明 可参考:

智能异常分析结果数据中的字段说明_日志服务-阿里云帮助中心

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
运维 DataWorks 安全
DataWorks产品使用合集之任务日志中显示等待gateway调度资源,该如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
11天前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具,然而,如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块,探讨如何使用日志来进行调试、分析与问题排查,并提出了一些实际应用中的优化建议和最佳实践。
|
26天前
|
JSON Java fastjson
Java日志通关(五) - 最佳实践
作者日常在与其他同学合作时,经常发现不合理的日志配置以及五花八门的日志记录方式,后续作者打算在团队内做一次Java日志的分享,本文是整理出的系列文章第五篇。
|
1月前
|
数据挖掘 语音技术
3D-Speaker说话人任务的开源项目问题之语义说话人信息模块在说话人日志系统中的问题如何解决
3D-Speaker说话人任务的开源项目问题之语义说话人信息模块在说话人日志系统中的问题如何解决
|
1月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据集成任务日志中显示wait,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
21天前
|
人工智能 Java Spring
Spring框架下,如何让你的日志管理像‘AI’一样智能,提升开发效率的秘密武器!
【8月更文挑战第31天】日志管理在软件开发中至关重要,不仅能帮助开发者追踪问题和调试程序,还是系统监控和运维的重要工具。在Spring框架下,通过合理配置Logback等日志框架,可大幅提升日志管理效率。本文将介绍如何引入日志框架、配置日志级别、在代码中使用Logger,以及利用ELK等工具进行日志聚合和分析,帮助你构建高效、可靠的日志管理系统,为开发和运维提供支持。
27 0
|
21天前
|
SQL 数据库 Java
Hibernate 日志记录竟藏着这些秘密?快来一探究竟,解锁调试与监控最佳实践
【8月更文挑战第31天】在软件开发中,日志记录对调试和监控至关重要。使用持久化框架 Hibernate 时,合理配置日志可帮助理解其内部机制并优化性能。首先,需选择合适的日志框架,如 Log4j 或 Logback,并配置日志级别;理解 Hibernate 的多级日志,如 DEBUG 和 ERROR,以适应不同开发阶段需求;利用 Hibernate 统计功能监测数据库交互情况;记录自定义日志以跟踪业务逻辑;定期审查和清理日志避免占用过多磁盘空间。综上,有效日志记录能显著提升 Hibernate 应用的性能和稳定性。
30 0
|
23天前
|
消息中间件 Prometheus 监控
Producer的监控与日志记录最佳实践
【8月更文第29天】在分布式系统中,消息队列作为关键组件之一,其稳定性和性能至关重要。生产者(Producer)负责生成并发送消息到消息队列中,因此确保生产者的健康运行是非常重要的。本文将探讨如何为生产者设置监控和日志记录,以跟踪其健康状况和性能指标。
24 0
|
1月前
|
数据挖掘 语音技术
3D-Speaker说话人任务的开源项目问题之视觉信息在说话人日志技术中的问题如何解决
3D-Speaker说话人任务的开源项目问题之视觉信息在说话人日志技术中的问题如何解决
|
2月前
|
存储 分布式计算 监控
日志数据投递到MaxCompute最佳实践
日志服务采集到日志后,有时需要将日志投递至MaxCompute的表中进行存储与分析。本文主要向用户介绍将数据投递到MaxCompute完整流程,方便用户快速实现数据投递至MaxCompute。
159 2