1758支队伍参赛,第三届阿里云磐久智维算法大赛圆满落幕

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 产学研结合,碰撞更多更有价值的智能运维火花

首图-图标.png

【阅读原文】戳:1758支队伍参赛,第三届阿里云磐久智维算法大赛圆满落幕

 

5月27日,第三届阿里云磐久智维算法大赛总决赛圆满落幕。大赛自2月25日启动,历时三个月,吸引了来自全球21个国家和地区、1758支队伍、2622名选手参赛。相比前两届大赛,本届大赛的规模、难度和挑战在不断升级。最终有6支队伍脱颖而出,参加线下总决赛。经过激烈的角逐,来自东华大学、中南大学和南京农业大学的联合组队获得冠军!

 

1.jpg

 

云计算关系到人们生活的方方面面,云计算所依赖的超大规模服务器一旦出现规模性故障,将带来灾难性的损失。关键日志则是技术人员排查根因,对症下药的重要依据。本次大赛开放大量不同类别的服务器运行日志,这些日志反应了服务器运行过程中各类部件的状态,能够在出现服务器故障时用来快速的定位出故障所在,这对于高效的修复故障、避免维修时间的浪费、降低服务器换件成本、提升系统可用性,优化用户体验甚至减少客户投诉都至关重要。

 

本赛题需要选手通过日志分析,将目标服务器归类到正确的故障类别(赛题共设置了4类候选类别,分别为“无故障、cpu本体故障、memory本体故障和其他部件故障”)。然而要准确的识别出故障根因并非易事,需要创新的思维,细致的分析,需解决数据噪声、正负样本不均衡、非结构化文本处理等技术问题,同时也要保障诊断算法长期稳定有效。这对于选手是个不小的挑战。

 

 

在决赛致辞中

11.png

阿里云基础设施智能运维负责人赵晓雪表示:

三年前,阿里巴巴开始举办智能运维算法大赛,初衷是想用智能化方法解决传统运维的难题。2020年首届比赛开启了对工业级大规模生产环境下的硬盘故障预测;2021年,以“大规模内存故障预测”为题,进一步促进了智能运维生态圈的共建;2022年,大赛以“根因诊断”为赛题,探讨根因诊断的新思路。我们希望通过产、学、研的结合,促进智能运维的创新发展,并期望把产出的优秀方案,贡献为整个社会都可用的优质资源。

 

22.png

阿里云服务器固件研发负责人李羿表示:

向服务器各类日志要价值,需要借助算法的能力,将整体的分析效果最大化。服务器固件整个行业已发展20多年,业内各界都在积极参与到行业发展和开源项目建设,国际开源固件每年组织一次会议,国内固件技术创新联盟在2021年5月成立,阿里是唯一的互联网单位,阿里希望通过标准的、开源的、国际的力量,把国内整体的基础技术进一步提升到新台阶。

 

 

随后6支决赛队伍分别进行了答辩,从基于Drain的日志模板提取,基于tfidf的关键词识别,到w2v的词嵌入、多时间窗口的统计特征构建,再到LightGBM、CatBoost、LSTM等机器学习算法,选手们向大家展示了多种多样的创新方法以及对赛题和技术的深入理解,呈现了异常激烈精彩的答辩会。

 

最后,各位专家评委也对本届大赛做了总结发言,纷纷表达了对选手们的肯定和对未来的期许,希望能持续的利用好比赛的平台,加强交流,共同促进产业发展。

 

33.png

阿里云基础设施智能运维算法负责人 刘炯宙

 

选手们在特征分析,机器学习方面的技术都非常优秀,做了很多很有价值的探索和应用,智能运维技术的发展离不开学界的努力和贡献。

 

除此之外,要解决好问题,也离不开特定的领域知识的加持,比如服务器的专业知识,业务运营的模式理解等。阿里会持续的为行业发展贡献真实的工业应用数据和知识,也期待大家多到工业界看看,共同促进智能运维行业发展。


 

44.png

西安交通大学教授 王平辉

 

很感谢阿里云提供这样一个平台,今天看到了很多优秀的选手,优秀的方案。实际上从20年第一届比赛开始,我就很关注,我们有针对阿里开放的数据做了很多研究,也做出了一些成果。智能运维正处在高速发展的阶段,这个领域对场景的依赖性很高,非常需要工业界的真实场景和数据,我们很期待有更多的人参与进来,解决更多的实际问题,让我们的技术产生价值。

 

55.png

香港中文大学教授 Patrick Lee

 

创办比赛,开放数据具有很好的工业价值和学术价值,今天的选手也很优秀,我虽然是评委但也收获学习了很多。感谢大家,感谢阿里云提供这样一个平台。在我们做学术的过程中,最缺乏的就是真实的产业数据,希望阿里能持续把这类比赛举办下去,也希望选手们能加强交流,持续在这个领域发展深耕。

 


11.png

阿里云基础设施智能运维负责人 赵晓雪

 

今天各支队伍表现很精彩,每个团队都有自己的特点,有的对业务的理解很深入,有的挖掘了非常丰富的特征,还有的使用了精妙设计的算法模型。这些不同的闪光点凸显出大家的技术能力,也使我们每个人都收获良多。

 

如果用工业界的眼光来看,我们在做选型时,考虑的方面会比较综合,比较有代表性的是我们会寻求用最低的成本解决复杂的问题,在方案设计上考虑投入产生比。很高兴看到今天有很多方案考虑到计算性能、资源消耗,都有从更多的维度来解决问题。很欣慰的看到学术界和工业界在彼此融合,这使得我们对未来更加确信。

 

另一方面,把纯粹基于数据的方案和专业领域的特点、知识做深度结合,将领域知识和算法搭配起来,效果会更好。智能运维是一个很大的课题,希望我们这一平台能够促进产学研的更好结合,让大家能够碰撞出更多更有价值的火花。

 


我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~ 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
|
6月前
|
分布式计算 算法 Java
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024
近期,阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平,赢得了国际学术界的认可。在阿里云人工智能平台PAI算法团队和华南理工大学的老师学生们一同的坚持和热情下,将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式,向业界传递和展现。
|
7月前
|
存储 自然语言处理 算法
阿里云百炼之RAG算法能力分享会来喽|速来围观~
阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。提供完整的模型训练工具和全链路开发套件,预置丰富的应用插件,提供便捷的集成方式,结合企业专属数据和API,帮企业高效完成大模型应用构建。RAG检索增强应用是在通义千问-Max大模型基础之上,专项增强「基于知识检索的大模型生成能力」,支持基于结构化/非结构化内容的文字生成场景。
|
机器学习/深度学习 存储 算法
阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?
@luotuoemo飞机@TG 阿里云国际站:拍立淘-以图搜图中的图像搜索算法是怎么样的?图像搜索在现代搜索系统中扮演了重要角色,尤其在电子商务网站如阿里巴巴等,它更是一个必不可少的功能。拍立淘是阿里云国际站的一个以图搜图功能,它使用了复杂的图像搜索算法进行图片匹配和识别。以下是对该算法的简单描述。
|
7月前
|
人工智能 监控 算法
阿里云PAI-EAS算法服务挑战赛:开启AI新时代
阿里云PAI-EAS算法服务挑战赛:开启AI新时代
473 1
|
机器学习/深度学习 编解码 算法
【阿里云OpenVI-视觉生产系列之图片上色】照片真实感上色算法DDColor ICCV2023论文深入解读
图像上色是老照片修复的一个关键步骤,本文介绍发表在 ICCV 2023 上的最新上色论文 DDColor
2768 10
【阿里云OpenVI-视觉生产系列之图片上色】照片真实感上色算法DDColor ICCV2023论文深入解读
|
人工智能 算法
阿里云人工智能平台 PAI 扩散模型加速采样算法论文入选 CIKM 2023
近日CIKM 2023上,阿里云人工智能平台PAI和华东师范大学陈岑副教授团队主导的扩散模型加速采样算法论文《Optimal Linear Subspace Search: Learning to Construct Fast and High-Quality Schedulers for Diffusion Models》入选。此次入选意味着阿里云人工智能平台 PAI自研的扩散模型算法和框架达到了全球业界先进水平,获得了国际学者的认可,展现了中国人工智能技术创新在国际上的竞争力。