手把手教你用 Python 调用 GPT-4o 接口,实现 UI 自动化脚本的自动修复

简介: 本文介绍如何用GPT-4o自动修复Selenium元素定位失败问题:当页面改版导致class/id变更时,脚本捕获异常,将HTML发给AI,智能推荐稳定新定位器(XPath/CSS等),实现“自愈”式UI自动化,显著降低维护成本。

说实话,做了几年 UI 自动化,最让我头疼的不是写脚本,而是维护脚本。
开发今天改个 class,明天换个 id,后天直接把按钮位置挪了——你前一天跑得好好的用例,第二天就红成一片。
手动一条条改定位器?改到一半开发又上线了,简直血压拉满。

所以我一直在想:能不能让 AI 帮我们修脚本?

OpenAI 发布 GPT-4o 之后,我发现这事儿还真能落地。这篇文章我就拿一个真实的 Selenium 脚本举例,带你一步步写一个能自动修复元素定位失败的脚本。全程代码亲测可用,不说废话。

  1. 你大概需要准备什么
    Python 3.8+(我用的是 3.10)
    一个 OpenAI API Key(GPT-4o 需要付费,但一次调用几分钱,完全扛得住)
    装几个库:
    pip install openai selenium
    Chrome 浏览器 + 对应版本的 chromedriver(如果你用其他浏览器同理)
  2. 先写一个会“坏掉”的自动化脚本
    我们拿百度首页做例子(只是演示,别在生产环境随便压测)。
    正常情况下,百度搜索框的 name 属性是 wd,提交按钮的 id 是 su。

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://www.baidu.com")

正常定位

search_box = driver.find_element(By.NAME, "wd")
search_box.send_keys("GPT-4o")
driver.find_element(By.ID, "su").click()
现在假设前端改版:

输入框的 name 改成了 keyword
提交按钮的 id 从 su 改成了 search-btn
如果你硬跑上面的代码,会直接抛出 NoSuchElementException。

  1. 第一次调用 GPT-4o:让它推荐新的定位器
    当脚本报错时,我们唯一能依赖的就是页面的实时 HTML。
    所以我们可以在 try...except 里捕获异常,然后把当前页面的 DOM 结构发给 GPT-4o,让它帮我们找出可用的新定位器。

3.1 封装一个函数,把当前页面源码发给 GPT-4o
from openai import OpenAI

client = OpenAI(api_key="你的密钥")

def ask_gpt_for_locator(page_source, old_locator):
prompt = f"""
你是一个 UI 自动化测试专家。
以下是一个网页的 HTML 源码,原本的元素定位器 {old_locator} 已经失效。
请根据页面当前结构,推荐一个稳定且大概率唯一的新定位器(可以是 id、name、XPath、CSS selector 中的任意一种)。
只返回定位器本身,不要多余解释。

HTML:
{page_source[:6000]} # 限制长度,节省 token
"""
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
temperature=0
)
return response.choices[0].message.content.strip()
这里有个小技巧:temperature 设为 0,让输出尽量确定,不给它自由发挥的空间。

3.2 写一个带自动修复的 find_element
from selenium.common.exceptions import NoSuchElementException

def smart_find_element(driver, by, value):
try:
return driver.find_element(by, value)
except NoSuchElementException:
print(f"定位失败:({by}, {value}),尝试 GPT-4o 修复...")
page_source = driver.page_source
new_locator = ask_gpt_for_locator(page_source, {by: value})
print(f"GPT-4o 建议的新定位器:{new_locator}")

    # 简单解析建议的定位器(这里只做了最简处理,实际需要更鲁棒的解析)
    if new_locator.startswith("//") or new_locator.startswith("("):
        return driver.find_element(By.XPATH, new_locator)
    elif new_locator.startswith("#") or"."in new_locator:
        return driver.find_element(By.CSS_SELECTOR, new_locator)
    else:
        # 默认当成 id 试试
        return driver.find_element(By.ID, new_locator)

用的时候只需要把原来的 find_element 替换成 smart_find_element,其余代码基本不用动。

  1. 完整的自动修复演示
    下面我把整个流程串起来,模拟一次“改版后的百度页面”。

from selenium import webdriver
from selenium.webdriver.common.by import By
from openai import OpenAI
import time

---------- OpenAI 初始化 ----------

client = OpenAI(api_key="sk-你的密钥")

def ask_gpt_for_locator(page_source, old_locator):
prompt = f"""
当前页面 HTML 如下,原本定位器 {old_locator} 已失效。
请返回一个唯一、稳定的新定位器(推荐 XPath 或 CSS)。
只返回定位器字符串,不要加任何注释。
HTML:
{page_source[:5000]}
"""
resp = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
temperature=0
)
return resp.choices[0].message.content.strip()

---------- 带修复功能的查找 ----------

def smart_find_element(driver, by, value):
try:
return driver.find_element(by, value)
except NoSuchElementException:
print(f"[修复] {by}={value} 失效,请求 GPT...")
html = driver.page_source
new_loc = ask_gpt_for_locator(html, {by: value})
print(f"[GPT] 推荐: {new_loc}")

    # 非常简陋的定位器类型判断,正式项目建议用正则或解析
    if new_loc.startswith(('//', '(')):
        return driver.find_element(By.XPATH, new_loc)
    else:
        # 尝试作为 CSS 处理
        return driver.find_element(By.CSS_SELECTOR, new_loc)

---------- 测试用例 ----------

driver = webdriver.Chrome()
driver.get("https://www.baidu.com")

try:

# 故意传一个错误的名字,模拟改版
box = smart_find_element(driver, By.NAME, "wd")   # 实际已改成 keyword
box.send_keys("GPT-4o auto repair")

btn = smart_find_element(driver, By.ID, "su")     # 实际已改成 search-btn
btn.click()

time.sleep(3)
print("测试通过 ✅")

except Exception as e:
print(f"最终失败: {e}")
finally:
driver.quit()
跑一遍看看效果
当你第一次运行,Selenium 找不到 name="wd",自动触发 GPT 请求,几秒后返回类似:

input[name='keyword']
然后程序会用 CSS Selector 重新定位,输入文字并提交——原本挂掉的用例自己活过来了。

  1. 踩过的一些坑(希望你避开)
    GPT 偶尔会乱给定位器
    比如给一个 div:nth-child(3) 这种极度脆弱的 selector。我的对策:在 prompt 里强调“唯一、稳定”,并且强制要求优先使用 id 或 name,实在没有再用 XPath 层级关系。

token 消耗比想象中快
一次请求发 5000 字符的 HTML 大概花掉 1 美分不到,但如果你跑几百个用例就不便宜了。优化策略:

只发送包含目标元素的局部 HTML(比如按钮附近的父容器)
缓存 GPT 返回的定位器,同一个页面同一个元素第二次直接从缓存取
响应速度
GPT-4o 比 4 快不少,但还是有 1~2 秒延迟。如果是 CI 流水线可以接受,但本地调试时会有点不耐烦。我一般加一个 print 提示“AI 修复中,请稍候”,用户体验会好一点。

  1. 还能怎么玩?
    上面的例子只修复了元素定位,其实整个测试步骤都可以交给 GPT。

比如你把失败时的截图、控制台日志、页面源码一股脑发给它,然后问:“这个步骤原本想点击登录按钮,现在被一个弹窗挡住了,请给出修正后的 Python Selenium 代码。”
它真的能给你写出一段先关弹窗、再点登录的脚本——我试过,靠谱。

另一种玩法:不需要提前准备定位器。
你只要告诉 GPT “在百度首页搜索‘天气’”,它直接输出完整的 Selenium 代码。这相当于把测试用例从自然语言“编译”成自动化脚本,连元素定位这一步都省了。

  1. 写在最后
    以前我们总说 UI 自动化维护成本高,是因为脚本是“死”的,页面是“活”的。
    现在有了 GPT-4o 这种能看懂界面、能写代码的模型,脚本也可以“活”过来。

当然,这不是让你把所有的 find_element 都换成 AI 版——毕竟每次调用都要花钱、花时间。
更好的用法是:作为兜底策略。常规定位失败时,再请 GPT 出山,一次修复,永久生效(把修好的定位器存到配置文件里)。

代码我已经贴在上面了,复制下来,换成你自己的 API Key 就能跑。
如果跑不通,大概率是页面改得太离谱,或者 GPT 抽风——多试两次,或者把 prompt 改得更具体一点。

自动化测试不该是手工作坊,让 AI 帮你搬砖,省下时间干点更有意思的事吧。

相关文章
|
18天前
|
人工智能 自然语言处理 Shell
🦞 如何在 OpenClaw (Clawdbot/Moltbot) 配置阿里云百炼 API
本教程指导用户在开源AI助手Clawdbot中集成阿里云百炼API,涵盖安装Clawdbot、获取百炼API Key、配置环境变量与模型参数、验证调用等完整流程,支持Qwen3-max thinking (Qwen3-Max-2026-01-23)/Qwen - Plus等主流模型,助力本地化智能自动化。
31370 109
🦞 如何在 OpenClaw (Clawdbot/Moltbot) 配置阿里云百炼 API
|
7天前
|
应用服务中间件 API 网络安全
3分钟汉化OpenClaw,使用Docker快速部署启动OpenClaw(Clawdbot)教程
2026年全新推出的OpenClaw汉化版,是基于Claude API开发的智能对话系统本土化优化版本,解决了原版英文界面的使用壁垒,实现了界面、文档、指令的全中文适配。该版本采用Docker容器化部署方案,开箱即用,支持Linux、macOS、Windows全平台运行,适配个人、企业、生产等多种使用场景,同时具备灵活的配置选项和强大的扩展能力。本文将从项目简介、部署前准备、快速部署、详细配置、问题排查、监控维护等方面,提供完整的部署与使用指南,文中包含实操代码命令,确保不同技术水平的用户都能快速落地使用。
4563 2
|
13天前
|
人工智能 安全 机器人
OpenClaw(原 Clawdbot)钉钉对接保姆级教程 手把手教你打造自己的 AI 助手
OpenClaw(原Clawdbot)是一款开源本地AI助手,支持钉钉、飞书等多平台接入。本教程手把手指导Linux下部署与钉钉机器人对接,涵盖环境配置、模型选择(如Qwen)、权限设置及调试,助你快速打造私有、安全、高权限的专属AI助理。(239字)
6544 17
OpenClaw(原 Clawdbot)钉钉对接保姆级教程 手把手教你打造自己的 AI 助手
|
12天前
|
人工智能 机器人 Linux
OpenClaw(Clawdbot、Moltbot)汉化版部署教程指南(零门槛)
OpenClaw作为2026年GitHub上增长最快的开源项目之一,一周内Stars从7800飙升至12万+,其核心优势在于打破传统聊天机器人的局限,能真正执行读写文件、运行脚本、浏览器自动化等实操任务。但原版全英文界面对中文用户存在上手门槛,汉化版通过覆盖命令行(CLI)与网页控制台(Dashboard)核心模块,解决了语言障碍,同时保持与官方版本的实时同步,确保新功能最快1小时内可用。本文将详细拆解汉化版OpenClaw的搭建流程,涵盖本地安装、Docker部署、服务器远程访问等场景,同时提供环境适配、问题排查与国内应用集成方案,助力中文用户高效搭建专属AI助手。
4592 9
|
14天前
|
人工智能 机器人 Linux
保姆级 OpenClaw (原 Clawdbot)飞书对接教程 手把手教你搭建 AI 助手
OpenClaw(原Clawdbot)是一款开源本地AI智能体,支持飞书等多平台对接。本教程手把手教你Linux下部署,实现数据私有、系统控制、网页浏览与代码编写,全程保姆级操作,240字内搞定专属AI助手搭建!
5544 19
保姆级 OpenClaw (原 Clawdbot)飞书对接教程 手把手教你搭建 AI 助手
|
14天前
|
存储 人工智能 机器人
OpenClaw是什么?阿里云OpenClaw(原Clawdbot/Moltbot)一键部署官方教程参考
OpenClaw是什么?OpenClaw(原Clawdbot/Moltbot)是一款实用的个人AI助理,能够24小时响应指令并执行任务,如处理文件、查询信息、自动化协同等。阿里云推出的OpenClaw一键部署方案,简化了复杂配置流程,用户无需专业技术储备,即可快速在轻量应用服务器上启用该服务,打造专属AI助理。本文将详细拆解部署全流程、进阶功能配置及常见问题解决方案,确保不改变原意且无营销表述。
6073 5
|
16天前
|
人工智能 JavaScript 应用服务中间件
零门槛部署本地AI助手:Windows系统Moltbot(Clawdbot)保姆级教程
Moltbot(原Clawdbot)是一款功能全面的智能体AI助手,不仅能通过聊天互动响应需求,还具备“动手”和“跑腿”能力——“手”可读写本地文件、执行代码、操控命令行,“脚”能联网搜索、访问网页并分析内容,“大脑”则可接入Qwen、OpenAI等云端API,或利用本地GPU运行模型。本教程专为Windows系统用户打造,从环境搭建到问题排查,详细拆解全流程,即使无技术基础也能顺利部署本地AI助理。
7696 17
|
10天前
|
人工智能 JavaScript 安全
Claude Code 安装指南
Claude Code 是 Anthropic 推出的本地 AI 编程助手,支持 Mac/Linux/WSL/Windows 多平台一键安装(Shell/PowerShell/Homebrew/NPM),提供 CLI 交互、代码生成、审查、Git 提交等能力,并内置丰富斜杠命令与自动更新机制。
3871 0