Bug0 发布 QA Agent:用缓存 Playwright 回放做自然语言回归测试
Bug0 QA Agent 通过多 LLM 共识与视觉模型协同,把自然语言指令动态映射到 UI 操作,操作缓存可复用以加速 CI 重放。
Bug0 QA Agent 通过多 LLM 共识与视觉模型协同,把自然语言指令动态映射到 UI 操作,操作缓存可复用以加速 CI 重放。
应用
Bug0 QA Agent 是一个开源 Playwright 库,通过多 LLM 共识与视觉模型协同实现自然语言驱动的浏览器回归测试,并支持操作缓存与 UI 变更自适应重映射。它直面传统测试对实现细节强耦合、AI 测试高延迟与非确定性的双重困境。
支持自然语言指令到 UI 操作的动态映射;缓存可复用操作以加速 CI 重放;基于多 LLM 共识+视觉模型提升验证鲁棒性。
适合测试工程师、前端架构师、SRE 工程师阅读。
Linearbytes 发布了 Bug0 QA Agent,这是一个用于代理式浏览器回归测试的开源 Playwright 库。该 AI 代理能够将以自然语言表达的测试指令与用户界面操作关联起来,在适当情况下缓存这些操作以加快持续集成(CI)的重放速度,并在用户界面发生变化时将其重新映射到测试规范。验证过程基于最多三个大语言模型(LLM)达成的共识以及视觉模型的评估结果。
一方面,虽然传统的 Web 应用程序测试方法在很大程度上实现了自动化,但并未将人工智能作为提高生产力的关键因素。而另一方面,创新团队则采用完全基于代理的自动化测试方法,其中代理处于核心地位,动态地处理每一次浏览器交互。
传统方法往往难以摆脱已知的痛点。测试套件通常依赖于实现细节(CSS 类、属性、data-testid),即使规范保持不变,这些细节也可能发生变化,从而导致不必要的测试重写和重构。测试不稳定的根源在于支撑 Web 应用的底层系统具有内在的不可预测性——它们往往是复杂的异步分布式系统,容易引发竞态条件、延迟波动以及请求丢失等问题。
另一方面,AI 优先的测试方法则存在延迟过高的问题,这使得它们不适用于大型回归测试套件。通常,大语言模型(LLM)会在每个步骤中增加几秒钟的延迟,这会推高 API token 成本,而且,由于所执行操作的非确定性,还会引入其特有的不稳定性。不过,从积极的一面来看,测试生成对实现变更的适应性比较强;图像和视频模型也许能在一定程度上实现视觉验证。
Bug0 提出了一种混合方法,其中,自主代理将初始视觉探索与常规回归执行解耦。开发人员可以在标准的 Playwright 规范文件中,使用纯英文编写声明式测试步骤。
在首次执行时,代理会检查可访问性树和屏幕截图,以理解用户界面并执行请求的操作。一旦单操作步骤执行成功,框架就会将该交互编译为具体的浏览器操作,并将其缓存到内存中的 Redis 存储中。在后续运行时,测试套件会直接通过 Playwright 重放缓存的操作,从而避免了进行新的 LLM 推理所带来的延迟开销。
当用户界面的实现细节发生变化(例如按钮坐标更新、表单层次结构修改)时,重放的 Playwright 操作可能会因此失败。但 Bug0 QA Agent 不会让整个测试运行失败,而是会检测中断,清空操作缓存,并重新调用多模态代理循环。需要注意的是:缓存仅适用于单操作步骤;复杂的多操作指令在每次运行时都会通过代理重新执行。
与操作步骤不同,断言验证不会被缓存。每次迭代时,断言都会通过视觉模型执行。Claude 和 Gemini 会独立评估每个断言,如果结果不一致,则由第三个模型进行裁决。视频模型能够捕获瞬时 UI 缺陷(例如自动消失的提示弹窗、一闪而过的横幅报错)。
该框架通过 mailsink 以及 Mailinator 等社区开发的适配器,集成了一次性邮箱测试功能,允许测试通过自然语言提示(如 {{email.otp:Extract the 6-digit code}})提取一次性密码(OTP)和魔法链接。
Chevrot 等人(自主 Web 代理是优秀的测试人员吗?)指出,他们表现最好的自主测试架构(ATA)在测试运行中与人类专业测试人员的一致率仅为约 60%,并且指出,断言可验证性与锚定能力(即识别目标应用程序中与测试操作相关的元素)是推动自主测试代理大规模应用的关键因素。该论文发表于 2025 年 4 月,研究中使用了 GPT-4o、Sonnet 和 Gemini。随着语言模型和测试框架的持续改进,利用人工智能提升测试各环节(生成、自愈、执行、分类、分析)生产力的工作也在不断推进。
Bug0 QA Agent 遵循 Functional Source License 1.1 版本 Av2 未来许可。该许可协议是一种源码可用的许可协议(不属于开源许可),在使用的前两年内会施加竞业禁止限制。据其首位倡导者 Sentry 所述,创建该许可协议的目的是“在赋予使用自由的同时,杜绝有害的搭便车行为”。
促进软件开发及相关领域知识与创新的传播