[WWW2024]轻量数据依赖的异常检测重训练方法LARA

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 阿里云计算平台大数据基础工程技术团队主导,与浙江大学合作的论文《LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection 》被WWW2024收录


开篇

近日,由阿里云计算平台大数据基础工程技术团队主导,与浙江大学合作的论文《LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection 》被WWW2024收录,该方法解决了云服务正常模式随时间不断变化,且在变化初期观测数据数量不足以支撑模型训练的问题。目前LARA仅使用1个包含40个时间片的样本重训练即可达到与目前最好方法使用充足数据重训练的异常检测精度。


背景

目前,可以解决正常模式更替变化的方法主要有迁移学习、元学习、基于信号处理的方法。但同时他们也存在一些弊端,并不完全适配当前问题:

1.迁移学习:迁移学习未考虑本问题中多个历史正常模式之间存在的时序关系。迁移学习把source domain的模型迁移到target domain中。其中,source domain和target domain的数据是对不同对象、同一任务的观测。而本问题是对同一对象同一任务在不同时刻的观测,即多个历史正常模式之间存在时序关系,离得近的正常模式对当前正常模式更具指导意义。

2.元学习:元学习同样未考虑历史正常模式之间的时序关系,同时,需要存储大量的历史数据。

3.基于信号处理的方法:这类方法推理阶段时间开销太大,无法在流量峰值处进行实时异常检测。


挑战

云服务环境多变,这导致异常检测模型需要进行频繁的重训练。频繁的重训练有以下几个问题:

1. 过拟合:在分布变化的初期,新分布的观测数据太少,对于大多数基于深度学习的神经网络,容易陷入过拟合。

2. 巨大训练开销:频繁重训练模型,会带来巨大的训练开销。


破局

image.png

因此,我们提出方法LARA解决上述问题。为了解决重训练新观测数据不足的问题,我们提出反刍模块,该模块使用老模型恢复历史分布中与新观测数据相似的数据,并使用历史数据与新观测数据一起估计每一个新观测数据的隐藏状态z。为了解决重训练计算开销大的问题,我们使用映射函数M_z和M_x分别把老模型输出的隐藏状态和重构数据映射为当前分布的隐藏状态估计值与新观测数据,并数学证明了映射函数令映射误差最小的最优形式为线性,极大降低了重训练开销。更进一步,我们根据M_z 与M_x的形式,提出一种相应的损失函数设计范式,可以保证重训练问题是一个凸问题,具有唯一全局最优解,从而保证较快的收敛速率,降低重训练计算开销,避免陷入过拟合。


应用

现已将LORA方法应用到飞天大数据AI管控平台ABM的异常检测算法服务中,减少异常检测算法的训练开销,辅助大数据平台进行异常的及时发现。

  • 论文标题:LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection
  • 论文作者:陈飞佚,秦臻,周孟初,张颖莹,邓水光,范伦挺,庞观松,文青松
  • 论文pdf链接:https://arxiv.org/abs/2310.05668
相关文章
|
10月前
|
机器学习/深度学习 人工智能 算法
【PyTorch深度强化学习】TD3算法(双延迟-确定策略梯度算法)的讲解及实战(超详细 附源码)
【PyTorch深度强化学习】TD3算法(双延迟-确定策略梯度算法)的讲解及实战(超详细 附源码)
1492 1
|
2天前
|
机器学习/深度学习 存储 运维
[WWW2024]轻量数据依赖的异常检测重训练方法LARA
[WWW2024]轻量数据依赖的异常检测重训练方法LARA
|
17天前
|
机器学习/深度学习 并行计算 算法
《探秘小批量梯度下降:批量大小如何左右算法性能》
小批量梯度下降(MBGD)在机器学习中广泛应用,其批量大小选择至关重要。合适的批量大小能平衡计算效率与收敛稳定性:较大批量提高硬件利用率、加速训练,但占用更多内存;较小小批量引入噪声,增强泛化能力,避免过拟合。批量大小影响梯度估计准确性、学习率调整及跳出局部最优的能力。实际应用需综合考虑数据集规模、硬件资源和模型复杂度,通过实验找到最优值。
|
2月前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
358 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
3月前
|
人工智能 物联网 C语言
SVDQuant:MIT 推出的扩散模型后训练的量化技术,能够将模型的权重和激活值量化至4位,减少内存占用并加速推理过程
SVDQuant是由MIT研究团队推出的扩散模型后训练量化技术,通过将模型的权重和激活值量化至4位,显著减少了内存占用并加速了推理过程。该技术引入了高精度的低秩分支来吸收量化过程中的异常值,支持多种架构,并能无缝集成低秩适配器(LoRAs),为资源受限设备上的大型扩散模型部署提供了有效的解决方案。
117 5
SVDQuant:MIT 推出的扩散模型后训练的量化技术,能够将模型的权重和激活值量化至4位,减少内存占用并加速推理过程
|
2月前
分布匹配蒸馏:扩散模型的单步生成优化方法研究
扩散模型在生成高质量图像方面表现出色,但其迭代去噪过程计算开销大。分布匹配蒸馏(DMD)通过将多步扩散简化为单步生成器,结合分布匹配损失和对抗生成网络损失,实现高效映射噪声图像到真实图像,显著提升生成速度。DMD利用预训练模型作为教师网络,提供高精度中间表征,通过蒸馏机制优化单步生成器的输出,从而实现快速、高质量的图像生成。该方法为图像生成应用提供了新的技术路径。
108 2
|
10月前
|
机器学习/深度学习 人工智能 测试技术
【机器学习】R-squared系数有什么缺点?如何解决?
【5月更文挑战第20天】【机器学习】R-squared系数有什么缺点?如何解决?
|
9月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习】CLIP模型在有限计算资源下的性能探究:从数据、架构到训练策略
【机器学习】CLIP模型在有限计算资源下的性能探究:从数据、架构到训练策略
445 0
|
10月前
|
机器学习/深度学习 数据可视化
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
|
10月前
|
机器学习/深度学习
大模型开发: 解释批量归一化以及它在训练深度网络中的好处。
批量归一化(BN)是2015年提出的加速深度学习训练的技术,旨在解决内部协变量偏移、梯度消失/爆炸等问题。BN通过在每层神经网络的小批量数据上计算均值和方差,进行标准化处理,并添加可学习的γ和β参数,保持网络表达能力。这样能加速训练,降低超参数敏感性,对抗过拟合,简化初始化。BN通过稳定中间层输入分布,提升了模型训练效率和性能。
224 3

热门文章

最新文章