大数据运维SREWorks

阿里云大数据运维团队重磅发布云原生大规模集群场景的 GitOps 方案，该方案基于 OAM 云原生模型，促进研发与运维人员协作，同时兼顾变更的过程管理和终态管理，可实现变更的自动化、代码化、透明化。此外，阿里云大数据运维团队分享了大模型在大数据智能运维场景的应用实践，通过引入检索增强生成（RAG）方法和其他优化策略，大幅提高了在智能问答和智能诊断方面知识的关联性和检索精度，并基于多智能体框架建立高效的数据分析和决策支持系统。

阿里云计算平台大数据基础工程技术团队主导，与华东师范大学数据科学与工程学院合作的论文《Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting》被ICLR 2024接收，该论文提出了基于Pathways架构的自适应多尺度时间序列预测模型Pathformer，它从时间分辨率和时间距离角度进行多尺度时序建模，同时进一步提出自适应Pathways来动态调整多尺度建模过程，基于两者，Pathformer在阿里云数据集和公开数据集上取得SOTA预测效果，并展现出不错的泛化性和迁移性。

大模型出现伊始，我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例，非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。

《Explaining Time Series via Contrastive and Locally Sparse Perturbations》被机器学习领域顶会ICLR 2024接收。该论文提出了一种创新的基于扰动技术的时间序列解释框架ContraLSP，该框架主要包含一个学习反事实扰动的目标函数和一个平滑条件下稀疏门结构的压缩器。论文在白盒时序预测，黑盒时序分类等仿真数据，和一个真实时序数据集分类任务中进行了实验，ContraLSP在解释性能上超越了SOTA模型，显著提升了时间序列数据解释的质量。

在使用Python的Selenium库进行网页爬虫开发时，翻页操作是常见需求。本文详细介绍如何通过Selenium实现翻页，包括定位翻页控件、执行翻页动作以及等待页面加载等关键步骤，并提供了基于“下一页”按钮和输入页码两种方式的具体示例代码。此外，还特别提醒开发者注意页面加载完全、动态内容加载及反爬机制等问题，确保爬虫稳定高效运行。

为了简化 eBPF程序的开发流程，降低开发者在使用 libbpf 库时的入门难度，libbpf-bootstrap 框架应运而生。本文详细介绍基于原生libbpf库的eBPF编程改进方案。

Python基于telnetlib模块实现交换机全面巡检自动化运维项目

阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection》被ICDE2024收录，该论文解决了云服务环境中不同服务存在不同正常模式，而传统神经网络一个训练好的模型只能较好捕捉一种或少数几种正常模式的问题，该论文提出的方法可以使用一个统一模型对不同服务进行检测，就达到比为每一个服务定制一个模型的SOTA方法更好的效果。

大数据学习 Shell基础学习---1、Shell概述、脚本入门、变量

Shell遍历HDFS路径统计层级目录大小

近日，由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。

阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection 》被WWW2024收录

制造业数字化是制造技术、计算机技术、网络技术与管理科学的交叉、融合、发展与应用的结果，是制造企业、制造系统与生产过程、生产系统不断实现数字化的必然趋势。