独家揭秘:拼多多测试团队如何用AI把回归时间从3天压到2小时

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 拼多多测试团队借AI重构回归流程:代码提交即启动智能分析,精准筛选高风险用例,将大促前回归从3天压缩至2小时内,告别通宵等待——瓶颈不在执行速度,而在决策智能。

去年双十一大促封网前夜,一位在拼多多做测试的朋友发了条朋友圈:“终于不用再通宵等回归结果了。”

底下炸出一堆同行。因为做过大促的人都知道,全量回归跑三天是常态。业务那边催命一样问“能不能上了”,你只能说“还在跑用例”。

后来我找他深聊了一次,信息量很大。他们一条核心业务线,从3万条回归用例压到几千条,再通过智能调度,把整个回归周期从3天压缩到了2小时以内。

不是靠堆机器,是靠换思路。

目录

大促前的回归噩梦,为什么突然消失了
回归的瓶颈不是执行速度,是决策速度
拆开这个AI大脑,里面就三件事
一个真实场景:订单状态机改动,AI怎么挑用例
想落地,先别急着上模型
测试工程师的新分工:写用例,还是写规则
大促前的回归噩梦,为什么突然消失了
过去拼多多的大促回归流程,和大多数厂一样:全量拉一遍自动化用例集,夜间跑,白天修脚本,晚上再跑。三万个用例,分布式执行最快也要几十个小时,中间还要处理环境抖动、数据冲突、脚本失效。

真正的痛苦不是时间长。是你跑完一轮,发现失败的用例里80%是环境问题,剩下20%才可能是真缺陷。排查又耗掉半天,大促窗口已经快关了。

现在的做法是:代码一提交,AI自动分析变更影响面,从全量用例库里精准圈定一个最小必要集,按风险排序,然后在弹性容器集群里并发执行。高风险用例先跑,低风险的并行跑,结果实时推送。

全量回归是测试团队的体力遮羞布,AI把它扯下来了。

回归的瓶颈不是执行速度,是决策速度
以前大家总想着怎么把用例跑得更快。搞分布式、搞并发、搞执行机扩容。但很少有人问一个问题:这些用例,真的都需要跑吗?

拼多多那个团队做过统计,历次大促前回归发现的缺陷,91%集中在不到15%的用例覆盖范围内。剩下85%的用例,连续十几次回归零缺陷,纯属“陪跑”。

回归测试的核心瓶颈,从来不是执行速度,而是“该跑哪些”的决策速度。

人工决策的问题很明显:靠经验拍脑袋,要么怕漏测不敢减,要么减了不该减的。一个改动到底影响了哪些模块、哪些接口、哪些历史风险点,靠人脑已经算不过来了。

他们做的事,本质就是把“变更影响分析”这个决策过程,从人脑移交给了模型。

拆开这个AI大脑,里面就三件事
这个AI系统不神秘,拆开来看就三个核心引擎。

第一,变更影响分析引擎。

每次代码提交,系统通过AST解析和运行时调用链数据,自动生成一张“变更影响拓扑图”。改了一个下单接口的入参校验逻辑,拓扑图会告诉你:这个接口被哪些服务调用,这些服务又关联哪些前端页面和后台任务,最终波及哪些业务流程。

第二,用例-风险关联模型。

这一步是把历史数据变成知识。系统会把过去三年所有线上缺陷、回归发现的Bug,和当时的代码变更、用例执行结果做关联训练。学出来的模型能回答一个问题:上一次改这个函数的时候,哪些用例挂了?挂了的是什么类型的缺陷?这次类似的改动,同样类型的用例是不是应该优先跑?

第三,智能分群与调度。

圈定出来的用例集,不会无脑全跑。系统按风险等级分三群:高风险的串行先跑,确保核心链路优先验证;中低风险的并行跑,用弹性容器动态扩容。结果一出来,自动聚类失败原因,把环境问题、脚本问题和真实缺陷分开标记。

三个引擎串起来,是一条清晰的流水线:

0cc23568-bb99-415e-a3c2-31c9b081e831.png

挑不准用例,再快的执行都是浪费机器。

一个真实场景:订单状态机改动,AI怎么挑用例
说个具体的场景。有次他们改了订单状态机,新增了一个“部分发货”的中间状态。

人工评估影响面,通常会想到:正向的发货流程、确认收货流程、超时自动取消的定时任务。很容易漏掉的是退款逆向流程。部分发货状态下发起退款,金额怎么计算?已发货部分和未发货部分如何分摊?如果退款成功,状态机能不能正确扭转回“已取消”?

人工漏掉这个场景不奇怪,因为正向开发和测试的思维惯性就是盯着主流程。

但他们的AI模型在分析这次变更时,从历史缺陷库里匹配到一条记录:两年前一次状态机枚举值调整,曾导致退款金额计算异常,线上出了一次资损事故。模型自动把那次事故关联的用例簇标记为高风险,推荐优先执行。结果真的发现了一个类似问题——部分发货退款时,金额分摊的精度误差导致总退款多了1分钱。

这种事靠人很难想起来,但数据记得。

想落地,先别急着上模型
聊完我觉得这东西确实好,但中小团队怎么搞?朋友给的建议很实在,三步走。

第一步,先别想着搞AI。先把两件基础的事做了:代码提交和用例建立关联标签,每次提测时自动推荐一个用例集。这个推荐算法可以简单到“基于模块名映射+上一次回归结果”,花一两周就能跑通。

第二步,积累数据。每一次回归的结果、每一次线上缺陷,都结构化记录下来,尤其是“哪个变更导致了哪个用例失败”这个对应关系。这比什么模型都值钱。没有这个数据积累,上再好的AI也是空中楼阁。

第三步,等数据量够了,再引入轻量级模型做关联推荐。不需要自研,用开源方案结合embedding检索就能出效果。

他们也不是一开始就做这么重的。前两个版本就是靠规则+人工标签撑起来的,模型是后来喂了足够多的数据才真正起作用。

工程上的事,先解决有无,再解决好坏。

测试工程师的新分工:写用例,还是写规则
这套系统跑起来之后,他们团队里测试工程师的工作内容变了不少。

以前大量的时间花在“挑用例、排计划、盯执行、查脚本”上。现在这些事系统全干了。那测试工程师做什么?一部分人转去做测试策略设计——怎么给AI制定风险分级规则,怎么设计用例标签体系,怎么验证推荐模型的准确率。另一部分人把精力投到探索性测试和深度缺陷挖掘上,那些AI还没学会的事。

这件事最值得思考的地方是:AI没取代测试,但会写AI规则的测试工程师,正在把不会的那批甩开。

你是在每天被回归进度追着跑,还是在设计一套能让回归自动完成的规则体系?这是两条完全不同的职业路径。

你们团队现在一次全量回归跑多久?跑完的结果里,有多少用例已经连续十次没有发现过任何问题了?

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

image.png

相关文章
|
19小时前
|
数据采集 人工智能 测试技术
我亲手训练了一个AI来测Bug,结果它发现了CTO十年前留下的“屎山”
两周前,我用历史缺陷数据训练AI“闻”代码坏味道,首次扫描便揪出一段CTO十年前写的高风险对账函数——硬编码、浮点误差容忍、无测试覆盖,却在线上隐匿十年。它不替代人工,而是揭示被遗忘的“未知未知”,让技术债务无可遁形。
|
23小时前
|
人工智能 自然语言处理 数据挖掘
2026企业Agent应用场景:挖掘隐性利润的实战指南
2026年,企业AI竞争已从单纯的大模型技术比拼,转向智能体(Agent)的实战落地。如何让AI从“对话玩具”进化为能自主规划、调用工具、执行复杂任务的“数字员工”,成为企业挖掘隐性利润、实现降本增效的关键。本文聚焦于瓴羊推出的企业级Agent解决方案,以其核心平台AgentOne为中枢,深入剖析其如何通过整合营销、客服、分析、运营、电商五大核心场景,打通数据与业务壁垒,构建“感知-决策-执行-反馈”的全链路智能闭环。文章将结合官方资料与真实案例,解读其技术架构、核心优势及在真实业务场景中的应用价值,为企业智能化转型提供一份可参考的实战指南。
|
21小时前
|
Web App开发 数据采集 人工智能
|
5天前
|
人工智能 自然语言处理 安全
TID质量竞争大会分享议题丨工商银行业研用户体验部:数智产品用户体验评估模型(ETS.AI)的研究与实践
在AI深度融入金融场景的背景下,传统体验评估已难适配数智产品。工商银行高明总经理将在TID大会发布《ETS.AI模型》,首创涵盖交互设计、模态融合、安全效能、认知联接四大维度的评估体系,助力金融AI产品实现“好用、可信、稳定、可落地”的体验升级。
|
18小时前
|
域名解析 存储 弹性计算
海宝云-阿里云服务器续费太贵?这有一份不同机型降配与省钱方案的“榨干”测评!
本文由阿里云官方服务商海宝云撰写,直击云服务器续费痛点:新客低价、老客高价。详解三大省钱策略——“续费降配”“跨代降配”“数据迁移”,辅以节省计划、停机模式等隐藏技巧,并提醒缩容、IP变更、共享型风险等避坑要点,助你合法合规砍掉50%~80%续费成本。
|
23小时前
|
Web App开发 运维 vr&ar
实时云渲染是什么?一文读懂实时云渲染、WebGL 与像素流的核心区别
在数字孪生等三维项目中,WebGL、UE像素流与实时云渲染常被混淆。三者虽均支持浏览器访问,但本质迥异:WebGL依赖终端算力,像素流仅限UE且需自研扩展,而实时云渲染依托云端GPU集群,跨引擎、高并发、开箱即用,是产业级应用的可靠底座。(239字)
|
22小时前
|
SQL 人工智能 安全
企业数据库管理工具选型:功能、安全、成本三维评估方法
本文从功能、安全、成本三个维度梳理企业数据库管理工具选型方法,并讨论智能问数、AI 辅助 SQL、Schema 感知、私有化部署和团队协作等 POC 验证重点。
|
23小时前
|
弹性计算 监控 安全
阿里云国际站(云老大):ECS被SYN Flood攻击怎么办?连接状态与内核参数优化教程
当一台阿里云ECS的CPU、带宽监控曲线都还平稳,业务却突然不可访问时,运维人员往往会在几分钟的慌乱中错判故障根源。我们见过不少案例:明明服务器负载不高,连接数却异常暴涨,常规重启和扩容毫无效果。这正是SYN Flood攻击的典型征兆。围绕“阿里云ECS SYN Flood攻击处理与内核参数优化”这件事,第一步不是调参数,而是先理解这种攻击凭什么能打瘫一台看似资源充裕的云服务器。
|
22小时前
|
前端开发 API 开发工具
为什么 iPhone 自带图书 App 不支持音量键翻页?我写了一个开源解决方案
SwiftBook是一款开源iOS EPUB阅读器(MIT协议),专为“躺着看书党”优化:首创音量键翻页(KVO+静音音频黑科技)、CSS多栏分页、内置思源宋体,支持主题/字号/断点续读等。仅需Mac+Xcode即可安装体验。
|
23小时前
|
人工智能 运维 监控
Agent上线前,先划好这5条边界
Agent 一旦接入日志、工单、接口和生产系统,就不再只是聊天工具。上线前先划清数据、权限、动作、上下文和责任边界,能少掉很多后续风险。

热门文章

最新文章