作者：阿里云可观测团队
阿里云正式发布 RCA Benchmark，面向 Agentic Ops 构建标准化根因分析评估数据集与评估协议体系，同时也是业界首个从体系层面解决 AI Agent 分布式系统故障诊断能力评估问题的开源基准项目。阿里云联合可观测性、智能运维、云原生基础设施等领域信通院、中科院软件所/计算机网络信息中心、清华大学、复旦大学、南开大学共建产业生态，共同搭建规范可信的运维智能体评估体系，为行业规模化落地夯实底层标准底座。
依托在可观测性与智能运维领域长期产品落地及服务实践，阿里云深刻认知到，根因分析是运维智能体能力评估中复杂度最高、最难标准化的核心环节。不同于文本问答、代码生成等具备固定输入与标准答案的任务，RCA Agent 面向持续运行的分布式复杂架构，需主动从指标、日志、链路追踪、系统事件等多源观测数据中筛选有效信息，依托服务依赖与实体拓扑关系回溯异常传播链路，最终定位故障根本诱因。当前行业尚未形成统一、体系化的评估基准，既无法对各类 AI Agent 故障诊断能力开展客观横向对比，也难以量化技术演进与能力迭代成效。
行业亟需建立 RCA 统一评估标准
随着企业 Agentic Ops 进入规模化落地阶段，评估体系缺失已成为行业发展的关键制约，传统评测范式已无法适配智能运维的发展诉求：
- 传统评测模式全面失效
根因分析并非单纯文本处理任务，AI Agent 需要实时完成指标查询、日志分析、链路追踪与变更事件研判，并跨工具协同开展诊断，传统依赖静态日志片段加单一标签的评测方式，无法区分智能体是完成完整逻辑推理诊断，还是仅依据告警表象偶然命中结果，评估有效性存在明显短板。 - 多源观测数据难以标准化
RCA 评估涉及指标、日志、链路追踪、系统事件等多源观测信号，各类数据在时间与实体维度相互耦合，故障影响会沿业务链路逐层传导，以数据库慢查询故障为例，会依次引发 MySQL 查询耗时抬升、调用服务延迟增加、上游服务超时、前端 5xx 报错等连锁反应。单一维度可观测数据仅能呈现局部表象，难以还原完整故障传播逻辑。 - 因果传播链易造成评估误判
行业普遍存在混淆异常表象与故障根因的评估误区，前端告警多为故障链路末端表现，真实根因往往位于下游数据库、缓存、消息队列或容器调度层，若数据集未完整刻画因果传播路径，仅命中告警周边服务即可被判定为诊断正确，极易造成评估判定失真。 - 跨域实体标识缺乏统一规范
同一业务实体在不同运维系统中命名体系完全割裂：同一业务实体在 APM、K8s、云资源层命名口径割裂，评估只能依赖字符匹配或人工主观判定，存在评分不稳定、结果不可复现、流程无法审计等问题。
在此背景下，阿里云明确：构建系统化、标准化的 RCA Agent 评估基准，已从学术研究议题转变为 Agentic Ops 规模化落地的必备基础设施。
RCA Benchmark 核心定义
RCA Benchmark 并非单一文件数据集，而是一套架构完整、逻辑闭环的基准套件评估体系，由运行环境、结构化样本集、评估协议三大模块构成：
- 运行环境： 搭建可生成真实故障信号的微服务仿真系统，支持 AI Agent 交互式诊断查询，彻底摒弃仅提供离线日志片段的传统模式。
- 结构化样本集： 构建搭载四层结构化真实基准（Ground Truth）的故障样本库，每条案例完整涵盖故障类型、归一化根因实体、因果传播链、关键证据检查点四大核心要素。
- 评估协议： 制定标准化评分规则，可将 AI Agent 输出结果转化为可横向对比的量化分数，以确定性规则为核心，最大限度减少大模型评审依赖，保障评分公平客观。
项目覆盖范围涵盖微服务架构故障、数据库与中间件故障、容器编排与云原生平台故障、云资源层故障以及 LLM 与智能体运行时故障等全主流场景。
RCA Benchmark 核心设计原则与整体技术架构
RCA Benchmark 以真实场景原生仿真为核心设计理念，基于部署在 K8s 集群、包含 40 余个业务服务、最长 7 层调用链路的电商微服务架构搭建基准底座，不采用人工合成数据，完整覆盖同步 RPC、异步消息、数据库、缓存、消息队列、网关等典型业务依赖；全域接入可观测能力底座，支持 Agent 统一调取指标、日志、链路追踪、告警、资源拓扑、K8s 事件、性能剖析七大类观测数据，并通过持续注入差异化背景流量，复刻生产昼夜波动、业务高峰与定时批处理负载特征，建立可靠的故障前后对比基线。
项目创新引入四层结构化真值体系，摒弃传统单一根因标签模式，从故障类型、归一化实体、因果传播链路到关键证据节点完成标准化定义，配套定因、定界、过程三维加权评分框架，按 40%、30%、30% 权重核算综合得分，近七成评分依托故障类型拓扑语义距离、实体拓扑距离做确定性量化计算，从故障语义匹配、拓扑定位精度、诊断证据与因果逻辑完整性多维度分级判定，从机制上规避随机命中带来的评估偏差，全程规则透明、结果可复现、流程可审计。
平台通过混沌工程工具、K8s 原生运维、功能开关配置、云服务 API 四大注入通道，实现 6 大类 40 余种故障在应用层、中间件层、容器平台层、云资源层的全场景覆盖，并以纵横维度构建故障覆盖图谱，保障评估范围完备均衡；针对跨域实体标识割裂的行业痛点，内置统一实体模型 UModel，为全域实体分配跨域唯一主键，通过标准化归一流程完成多域实体映射与拓扑距离核算，实现全流程可追溯、可复现、可审计。
同时体系建立四层 GSTO 质量门禁，从结构规范、信号有效性、时间窗口、开放适配性设置多重准入校验，严格过滤故障链路失真的无效样本。目前已沉淀 200 余条合规样本，覆盖全品类故障类型并划分 L1-L4 四级难度，以 L2、L3 中高难度场景作为核心评估主场。
项目秉持开源共建原则，评估框架、故障目录、评分协议、质量门禁等核心能力全面开源，面向可观测性厂商、Agentic Ops 开发者及企业 SRE 团队开放共建通道，并通过预留非公开测试样本、设置合规门禁，防范数据污染，保障行业评估榜单公正可信。
阿里云开源的 RCA Benchmark 为行业建立标准化、可复现、可审计的 Agentic Ops 统一能力标尺，实现不同智能体诊断能力的客观对标与量化度量；依托分级难度体系与全场景故障覆盖，支撑企业开展技术选型与业务落地迭代；通过核心能力开源开放，大幅降低行业自建评估体系的投入成本；同时依托数据集动态更新、饱和度监控与场景反馈闭环，持续迭代基准能力，共建可长期演进、开放共享的运维智能体产业生态。
开源链接:https://aiops-benchmark.oss-cn-hongkong.aliyuncs.com/rca/rca100/v1.0/README.md
让每一次故障评估有据可依，让每一项诊断能力可量化、可对标、可进化。
