企业官网建设流程全解析

AI 进入测试领域之后，测试用例生成成了最容易被关注的场景。

输入一段需求，AI 很快就能生成测试点、测试场景、BDD 用例，甚至还能继续生成自动化脚本。看上去效率提升很明显，但真正落地到业务团队后，很多问题也会暴露出来：

生成的用例是不是覆盖了核心风险？

有没有大量重复、空泛、不可执行的描述？

需求描述变化后，用例质量能不能自动跟着优化？

团队多人使用后，系统能不能越用越准，而不是每次都从零开始？

这也是当前 AI 测试用例生成从“能用”走向“好用”的关键挑战。

在本次分享中，腾讯 PCG 工程效能专家张健将带来《用例生成自进化：AI驱动的测试用例质量持续进化实践》，重点介绍腾讯 PCG 在 AI 测试用例生成方向，从“AI 辅助生成”到“Agent 自主执行”的一年实践路径。

一、讲师介绍：从用例管理插件到 AI-Native 智能测试管家

张健，腾讯 PCG 工程效能专家，来自腾讯 PCG 应用效能技术部、联合业务质效中心，长期专注于 AI + 测试工程方向。

在智能化测试工具建设方面，张健主导了多个关键系统的设计与落地：

BDD 用例管理 IDE 插件
用例生成插件 CaseMaster
AI-Native 智能测试管家 QA Seneschal
其中，QA Seneschal 是一套基于多 Skill 编排与置信度治理的全链路测试 Agent 系统，代表了腾讯 PCG 在智能测试方向的一次重要升级。

这次分享的重点，不是停留在“AI 能不能生成测试用例”，而是进一步回答：

生成之后，如何评估？评估之后，如何修复？修复之后，如何持续学习和进化？

二、AI 生成用例的真正难点，不是“生成”，而是“质量可控”
很多团队在引入大模型生成测试用例时，第一阶段通常会比较兴奋。

因为相比人工从需求中逐条拆解场景，AI 确实可以快速产出大量测试用例，尤其在需求初稿、场景梳理、边界条件补充等环节，能够明显提升效率。

但进入真实业务后，问题也会变得复杂：

常见问题
具体表现
覆盖不稳定
重要场景遗漏，边界条件不完整
描述不清晰
用例步骤模糊，验证点不明确
重复率偏高
多条用例表达不同，但测试目标相近
可执行性不足
用例看起来完整，但测试人员无法直接执行
质量难评估
生成结果好不好，依赖人工主观判断
成本不可控
每次全量重生成，Token 消耗高，结果还不稳定
所以，AI 生成测试用例真正要解决的问题，不只是“能不能写出来”，而是要把用例质量变成一个可评估、可修复、可追踪、可持续优化的工程体系。

张健本次分享的核心价值，正是在这个方向上给出了一套可复用的自进化架构范式。

三、核心架构：生成、评估、修复、学习、优化的自进化闭环
腾讯 PCG 的实践并不是简单地调用大模型生成一批用例，而是围绕用例质量构建了一套完整闭环。

整体流程可以概括为：

这套机制的关键点在于：

AI 不只是生成者，也要进入评估、修复和学习流程。

也就是说，系统不是一次性输出结果，而是通过多轮闭环，让生成结果不断向高质量用例靠近。

四、评估引擎：自进化系统的“眼睛”
用例生成之后，第一件事不是直接交给测试人员使用，而是先经过质量评估。

在腾讯 PCG 的实践中，评估引擎采用了“规则检查器 + LLM 评估器”的双评估架构。

其中：

规则检查器占 70%
LLM 评估器占 30%
这个比例背后的设计思路非常清晰：

规则保底线，LLM 提上限。

规则检查器适合处理确定性问题，比如格式是否符合 BDD 规范、字段是否缺失、步骤是否完整、是否存在明显重复等。

LLM 评估器则更适合处理语义类问题，比如场景覆盖是否充分、描述是否清晰、测试意图是否合理、是否存在隐性风险遗漏等。

两者结合之后，可以让用例质量评估既有稳定底线，又保留一定的智能判断能力。

评估维度主要覆盖五个方面：

评估维度
关注重点
覆盖度
是否覆盖核心业务路径、异常场景、边界条件
多样性
是否避免生成大量相似用例
BDD 合规性
是否符合 Given-When-Then 等结构化表达要求
可执行性
测试人员是否能直接理解并执行
去重性
是否存在语义重复、步骤重复、验证点重复
这一步非常重要，因为只有先把“什么是好用例”量化出来，后面的自动修复和持续进化才有基础。

五、自循环修复：只重做低质量部分，而不是全量推倒重来
传统 AI 用例生成中，一个常见问题是：只要某些结果不满意，就让模型重新生成一遍。

这种方式看似简单，但问题也很明显：

一方面，原本质量不错的内容可能被覆盖；另一方面，每次全量生成都会带来额外 Token 消耗，成本不可控。

腾讯 PCG 的实践中采用的是局部修复策略：

只重做评分低的部分，保留已经达标的高质量内容。

修复流程分为三级：

1. L1：规则自动修复
   适合处理格式类、结构类、字段类问题。

例如：

缺少前置条件
BDD 格式不完整
标题命名不规范
重复字段清理
描述格式统一
这类问题可以通过规则快速修复，通常是秒级完成。

2. L2：LLM 局部重生成
   适合处理语义类问题。

例如：

场景覆盖不足
步骤描述不清晰
断言不明确
测试数据不合理
某个子场景缺少边界条件
此时不需要全量生成，只需要让 LLM 针对低分片段局部重写。

3. L3：人工介入
   当系统判断置信度不足，或者规则与 LLM 评估结果存在明显冲突时，再引入人工介入。

这样可以避免所有问题都丢给人，也避免所有问题都盲目交给模型。

更重要的是，人工处理结果还可以反过来成为后续系统学习的信号。

六、自适应进化：用户操作本身就是学习信号
真正的自进化，不只是模型自己反复生成和修复，更关键的是把用户使用过程中的真实反馈利用起来。

在实际测试工作中，测试人员会对 AI 生成的用例进行各种操作：

删除某些用例
修改某些步骤
合并相似场景
补充断言
调整优先级
标记不可执行
保留某些高质量用例
这些动作背后，其实都隐藏着质量判断。

如果系统能够识别这些操作，并转化为学习信号，就可以逐步完成阈值校准和策略优化。

例如：

用户操作
可转化的学习信号
删除用例
可能存在重复、低价值、不可执行问题
修改步骤
原步骤可能不清晰、不准确
补充验证点
原用例断言不足
合并用例
可能存在语义重复
保留用例
当前生成策略有效
标记高优先级
对应场景更接近业务核心风险
这样一来，系统就不再是一次性的生成工具，而是可以在真实业务使用中持续学习。

这也是“用例生成自进化”的核心所在：

用户用得越多，系统越知道什么样的用例更符合当前业务团队的质量标准。

七、三级闭环：让质量进化从单次生成变成持续工程能力
本次分享中，一个很值得关注的设计是三级闭环：

秒级自修复
次级反馈学习
版本级基线对比
这三个层次分别解决不同问题。

1. 秒级自修复：解决单次生成质量问题
   当系统发现格式、重复、结构等问题时，可以快速自动修复，减少人工清洗成本。

2. 次级反馈学习：解决团队使用偏好问题
   系统通过测试人员的修改、删除、保留等行为，持续学习业务团队对用例质量的真实判断标准。

3. 版本级基线对比：解决长期质量演进问题
   不同版本、不同需求、不同业务线之间，可以通过基线对比观察用例质量变化。

例如：

当前版本覆盖度是否提升？
重复率是否下降？
坐标准确率是否稳定？
新需求场景是否出现质量波动？
某类业务场景是否一直生成效果较差？
这让 AI 用例生成从“单点能力”变成了“持续治理能力”。

八、真实落地效果：从模糊、重复、不可用，到可量化提升
在腾讯文档 Sheet 品类的落地实践中，这套自进化机制已经取得了比较明显的效果。

根据议题材料中的数据：

指标
优化前
优化后
模糊描述占比
60%
2%
重复率
39%
4%
坐标准确率
0%
95%
Token 消耗

节省 60%+
用例质量

提升 35%+
这些数据说明，AI 测试用例生成的优化方向，不应该只盯着“生成速度”，还要关注：

描述是否准确
用例是否可执行
重复是否可控
质量是否可评估
成本是否可治理
反馈是否能反哺系统
尤其是局部修复策略，在质量提升的同时还能节省大量 Token 消耗，这对于企业级落地非常关键。

因为在真实团队里，AI 工具不能只追求“效果惊艳”，还要考虑稳定性、成本、可维护性和规模化使用。

九、这套方法不只适用于测试用例，也适用于更多 AI 内容生成场景
虽然本次分享聚焦测试用例生成，但“生成 → 评估 → 修复 → 学习 → 优化”的自进化范式，并不局限于测试领域。

它同样可以迁移到很多 AI 内容生成场景中，比如：

代码生成
自动化脚本生成
接口测试用例生成
缺陷报告生成
测试报告生成
需求文档生成
技术方案生成
知识库问答结果优化
凡是存在“生成质量不稳定、人工修正成本高、需要持续优化”的场景，都可以参考这套闭环思路。

这也是本次分享最有价值的地方：

它不是单个工具能力的展示，而是一套 AI 工程化落地范式。

十、给测试团队的启发：AI 测试真正要建设的是质量闭环
过去我们谈测试智能化，更多关注自动化执行、脚本生成、用例推荐、缺陷预测。

但进入大模型时代后，测试团队面临的新问题变成了：

AI 生成了很多内容，谁来保证这些内容是可信的？

如果每次都靠人工审核，那 AI 提效会被审核成本吃掉。

如果完全不审核，又很容易把低质量内容带进测试流程。

所以，未来测试团队建设 AI 能力时，不能只建设“生成能力”，还要建设“质量治理能力”。

包括：

评估标准
置信度机制
自动修复流程
人工兜底策略
用户反馈学习
版本级质量基线
成本与效果监控
只有这些能力配套起来，AI 才能真正从“辅助工具”走向“工程体系”。

结语
AI 生成测试用例并不难，难的是让生成结果持续变好。

腾讯 PCG 工程效能专家张健带来的这次分享，真正值得关注的不是某一个插件、某一个 Agent，或者某一组效果数据，而是背后的工程化思路：

用评估引擎看见问题，用局部修复降低成本，用用户反馈驱动学习，用版本基线持续治理质量。

当 AI 测试用例生成具备自进化能力后，它就不再只是一个“帮测试人员写用例”的工具，而有机会成为企业测试质量体系中的基础能力。

对于正在探索 AI + 测试落地的团队来说，这场分享非常值得关注。

因为它回答了一个很现实的问题：

AI 生成用例之后，如何让质量持续进化？