AI 编程工具、研发智能体、自动化生成平台，正在越来越多地进入真实研发流程。
但很多团队真正落地之后，会发现一个问题：
AI 能生成，不代表生成得稳定。 AI 能完成任务，不代表过程可控。 AI 最后结果看起来对，不代表中间链路没有风险。 Agent 执行了很多步骤，但每一步为什么这么做、调用了哪些 Skill、消耗了多少 Token、在哪个环节出现质量波动，往往仍然是一个“暗箱”。
当 AI 开始参与需求分析、代码生成、测试设计、缺陷分析、研发协同之后，企业真正需要解决的，已经不只是“AI 能不能用”，而是：
AI 的结果能不能评测？ AI 的过程能不能观测？ AI 的质量问题能不能回溯？ AI 的执行数据能不能反哺下一轮优化？
在本次大会中，中兴通讯 AI 技术教练刘振凯将带来主题分享：
《从暗箱到透镜——SpecDrivenDev 的评测与可观测性全链路闭环工程实践》
这场分享将系统拆解 SpecDrivenDev 场景下，如何通过评测、评审与可观测性，构建一套可闭环、可追溯、可持续优化的 AI 工程质量体系。
一、AI 工程化落地，不能只看最终结果
过去的软件质量体系，更多关注测试结果、缺陷数量、覆盖率、上线质量等指标。
但 AI Agent 参与研发之后，质量问题变得更加复杂。
因为 AI 的输出不是简单的确定性程序执行，而是由模型能力、上下文质量、Prompt 设计、Skill 调用、工具链协同、任务拆解方式等多个因素共同决定。
同样一个需求，AI 今天可能生成得很好，明天换一个上下文就开始跑偏。
同样一个 Agent，在线下评测中表现不错，进入真实研发流程后，可能因为日志缺失、工具调用异常、上下文污染、Skill 编排不稳定，导致整体质量下降。
所以，AI 工程化真正要解决的不是“能不能生成”，而是：
生成质量是否有稳定基线
执行过程是否能被实时评审
Agent 的调用链路是否可观测
质量问题是否能定位到具体环节
线上数据是否能回流到评测体系
整个系统是否能持续进化
这也是本次分享中 SpecDrivenDev 评测与可观测性闭环要回答的核心问题。
二、“锚-盾-眼”：SDD 评测体系的三重奏模型
刘振凯老师将在分享中系统阐述 SDD 评测的 “锚-盾-眼”三重奏模型。
这套模型可以理解为 AI 工程质量治理中的三个关键支点。
线下评测是“锚”
线下评测用于建立质量基线。
它帮助团队判断当前模型、Agent、Skill、Prompt、流程编排到底处于什么水平。
只有先建立基线，后续模型升级、工具调整、流程优化，才有可比较、可验证的依据。
线上评审是“盾”
线上评审用于守住过程质量。
AI 在真实研发流程中运行时，输入更复杂，任务更动态，风险也更难提前覆盖。
这时就需要在线上通过实时评审机制，形成质量门禁，避免低质量产物直接进入后续研发环节。
可观测性是“眼”
可观测性用于看清 Agent 的执行过程。
包括任务拆解、上下文使用、工具调用、Skill 执行、Token 消耗、异常节点、链路时序等。
它让原本不可见的 AI 执行过程变成可分析、可度量、可优化的数据资产。
这三者不是孤立存在的。
线下评测解决“有没有质量标准”； 线上评审解决“过程是否可控”； 可观测性解决“问题是否看得见、追得回、改得动”。
最终形成一个完整闭环：
评测 → 评审 → 观测 → 回流
这也是 AI 研发质量体系从“事后验证”走向“全程体检”的关键路径。
三、从“结果导向”到“过程可溯”
很多团队刚开始做大模型评测时，容易把评测理解为“看最终答案对不对”。
但在真实工程场景中，只看结果远远不够。
尤其是在 SpecDrivenDev 这类围绕规格、需求、设计、实现、验证展开的研发模式中，AI 不只是生成一段文本或代码，而是在参与整个研发链路。
这意味着评测维度必须从单一结果，扩展到过程质量。
比如：
需求理解是否准确？ 任务拆解是否合理？ 上下文引用是否充分？ Skill 调用是否匹配任务目标？ 工具执行结果是否被正确理解？ 生成内容是否符合规格约束？ 异常场景是否有识别和处理？ 中间步骤是否可追踪？ 最终结果是否能回溯到输入依据？
当 AI Agent 介入研发流程之后，真正有价值的评测不应该只停留在“这次答案对不对”，而要进一步回答：
它为什么会得到这个答案？ 这个答案是否稳定可复现？ 如果错了，错在哪一个环节？ 下一轮如何让系统自动变得更好？
这也是从“暗箱”走向“透镜”的核心变化。
四、线下评测：先建立质量基线
在线下评测阶段，重点是构建可复用、可对比、可持续迭代的评测体系。
其中有两个关键能力。
第一个是 评估器设计。
评估器不是简单的打分器，而是要把业务规则、工程规范、质量标准和模型判断能力结合起来。
不同任务需要不同评估器。
比如需求分析任务，关注的是完整性、准确性、歧义识别能力； 测试用例生成任务，关注的是场景覆盖、边界条件、异常路径、可执行性； 代码生成任务，关注的是可读性、可维护性、安全性、规范一致性； Agent 执行任务，关注的是任务拆解、工具调用、状态流转和最终产物质量。
第二个是 评测集构建。
评测集决定了评测体系的上限。
一个好的评测集，不只是堆样本，而是要覆盖真实研发场景中的高频问题、复杂问题、边界问题和历史质量问题。
如果评测集只覆盖简单任务，评测结果就很容易“好看但不可信”。
所以，线下评测的价值不只是给模型打分，更是帮助团队建立一套稳定的质量基准。
有了基线，后续模型升级、Prompt 调整、Skill 改造、Agent 编排优化，才有可靠的对比依据。
五、线上评审：用 Skill 驱动实时质量门禁
线下评测解决的是基准问题，但 AI 真正运行在研发流程中，还需要线上评审机制。
因为真实场景中的输入更复杂，任务更动态，很多风险无法只靠离线评测提前覆盖。
这时，线上评审就像一道“盾”。
它不是等到最终产物完成后再做一次检查，而是在 AI 执行过程中，通过 Skill 驱动的方式进行实时质量门禁。
例如：
当 AI 生成需求分析结果时，可以触发规格一致性检查； 当 AI 生成测试用例时，可以触发覆盖率、边界值、异常场景检查； 当 AI 调用工具链执行任务时，可以触发权限、路径、上下文、调用结果校验； 当 AI 输出研发产物时，可以触发规范性、可维护性、安全性评审。
这种机制的价值在于：
AI 不再是“生成完再说”，而是在生成过程中就被持续约束。
这对于企业级 AI 工程落地非常重要。
企业真正关心的不是一次 Demo 能不能跑通，而是当 AI 进入真实研发链路后，能不能稳定、可控、可治理。
六、可观测性：让 Agent 的每一步都看得见
本次分享中，一个非常值得关注的重点是 CC-Observe 的可观测性实践。
AI Agent 的执行过程往往涉及多轮对话、工具调用、上下文读取、Skill 执行、结果汇总和异常处理。
如果没有可观测性，团队只能看到最终输出，却很难知道中间发生了什么。
CC-Observe 重点解决的就是这个问题。
本次分享将展示包括以下方向在内的工程实践：
日志全自动转换
将 Agent 运行过程中的日志、调用链路、执行状态转化为可分析的数据结构，降低人工排查成本。
六维 Token 量化
不只是看总消耗，而是从多个维度拆解 Token 使用情况，帮助团队识别成本浪费、上下文冗余、关键步骤消耗异常等问题。
多智能体协作分析
当多个 Agent 或多个 Skill 共同完成任务时，可观测体系能够帮助团队看清不同角色之间的协作关系、责任边界与问题来源。
Skill 时序可视化
把 Skill 调用顺序、执行耗时、输入输出、异常节点可视化，让复杂链路不再依赖人工猜测。
这些能力的意义在于：
AI Agent 不再是一个只给结果的黑盒，而是变成一个可以被观察、被分析、被优化的工程系统。
七、从评测到回流：让质量体系自己转起来
真正成熟的 AI 工程体系，不应该只停留在“发现问题”。
更重要的是把问题转化为可持续改进的数据资产。
这也是“评测 → 评审 → 观测 → 回流”闭环飞轮的价值。
线下评测发现模型或流程的基线问题； 线上评审拦截真实过程中的质量风险； 可观测性定位问题出现的具体环节； 回流机制再把这些问题沉淀到评测集、规则库、Skill 优化、Prompt 策略和 Agent 编排中。
这样，AI 质量体系就不再是一次性项目，而是可以持续进化的工程机制。
每一次异常、每一次低质量输出、每一次调用失败、每一次 Token 消耗异常，都可以变成下一轮优化的输入。
这也是 AI 研发从“靠经验调 Prompt”走向“靠体系做治理”的关键分水岭。
八、为什么这场分享值得研发、测试、效能团队重点关注？
这场分享的价值，不只在于介绍一个评测平台或一个可观测工具。
更重要的是，它回答了企业在 AI 工程化落地中必然会遇到的几个核心问题：
AI 参与研发之后，质量基线如何建立？ Agent 执行过程如何被看见？ 线上过程质量如何实时守住？ 评测结果如何反哺系统优化？ 从需求、规格、代码到测试，如何形成完整闭环？ 大模型应用如何从“能用”走向“可信、可控、可持续优化”？
对于正在推进 AI 编码、AI 测试、智能研发平台、Agent 工程化、研发效能平台建设的团队来说，这些问题都非常现实。
尤其是在企业内部，AI 工具如果无法评测、无法观测、无法追溯、无法治理，就很难真正进入核心研发流程。
从这个角度看，SpecDrivenDev 的评测与可观测性实践，本质上是在探索一条更工程化、更可信的 AI 落地路径。
九、讲师介绍
刘振凯，中兴通讯技术教练，中兴通讯 AI 技术教练，拥有近 10 年中兴通讯无线研发经验。
目前主导公司级大模型评测平台和可观测工程建设工作，同时参与大模型语料工程、模型训练等相关工作。
本次分享将结合中兴通讯在 AI 工程化、模型评测、可观测工程与 SpecDrivenDev 实践中的真实经验，系统拆解从“暗箱”到“透镜”的全链路闭环建设方法。
十、写在最后
AI 进入研发体系之后，真正的挑战已经不只是“让 AI 做事”，而是让 AI 做得可评测、可观测、可追溯、可优化。
从暗箱到透镜，背后代表的是 AI 工程化能力的一次升级。
过去我们关注 AI 能不能生成； 现在我们更需要关注 AI 能不能被治理。
如果你正在关注 AI Agent、智能研发、AI 测试、大模型评测、研发效能平台、可观测工程，刘振凯老师的这场分享非常值得重点关注。
