杭州六小龙之群核科技--AI助力测试提效与大模型落地应用实践
从2023年底起，群核科技质量团队就开始不断强调AI可能给测试带来的价值，随后迅速组建了专门的AIGC虚拟小组，着手进行基础设施搭建和局部探索。
从实际建设进度来看，AI带来的效果非常显著。2024年底DeepSeek的发布确实给业界带来了不小的震撼，AI的推理能力已经今非昔比。行业内围绕AI在质量测试和效能领域做了大量探索。结合这些探索、经验以及我们自身取得的成果，可以确定的是，我们必须紧跟这个趋势，用各种AI工具武装自己，并将其融入日常工作流，才能真正实现效能的提升。
经过一段时间的实战，我们明确了2025年的重点建设方向：
- 探索更好的AI模型，为测试提效提供强力引擎
- 搭建更易用的AI测试平台，方便各个应用快速接入
- 持续推动各项测试效能领域和流程的提效
- 积极推广，带领测试同学真正认识AI、用好AI
下面就把我们取得的一些进展分享出来，希望能激发更多创新思路，推动这个领域往前走一步。
01 探索更好的AI模型，助力测试提效
2025年开年至今，我们的测试平台已经接入了多个业界领先的大模型，在各个领域的反馈都相当不错。
| 接入时间 | 模型 | 应用领域 | 接入效果/反馈 |
|---|---|---|---|
| 2025年1月 | DeepSeek v3&r1 | 知识库问答 |  |
| 2025年2月 | text-embedding-3-small bge-m3-embedding | 向量模型&知识库领域 | 相比之前，准确度提升了20%  |
| 2025年2月 | Claude3.5&Claude 3.7 Sonnet | 自动化测试代码编写 | 业务线试用中，本地生成比较稳定，准确率大幅提升 |
02 搭建更易用的AI测试平台，方便大家应用接入
目前，质量部的AI测试平台FastQA已经接入了20多个各类应用，平台本身也在持续迭代优化。
| 时间 | 平台优化 | 预期/效果 |
|---|---|---|
| 2025年2月 | 模型对接优化 |  |
| 2025年2月 | 平台版本升级 | 同步升级，支持插件、工作流编排等，与公司模型对接，版本更稳定  |
| 2025年1月 | 企信对接问答优化 | 支持企信群 @机器人方式对话，方便对接知识库应用  |
03 不断助力各项测试效能领域/流程提效
在提升模型和平台能力的同时，我们更关心这些能力能否在真实测试场景中落地。这也是目前成果最密集的领域，已经在以下几个关键方向取得了实质性进展。
3.1【AI助力工单提效】
思路：
进展：
应用展示：
- 在群聊内@AI虚拟账户，进行问题咨询，自助解决FAQ类问题。
- 在群聊内@AI虚拟账户发送创建工单指令，可自动创建工单。
- 在应用内，点击【客服酷小宝】，可进行问题咨询，自助解决FAQ类问题。
- 在应用内，点击【客服酷小宝】，发送创建工单指令，也可自动创建工单。
3.2【UI自动化代码生成】
思路：
进展：
3.3【AI精选文档分享】
思路：
进展：
3.4【AI知识库秒级搭建】
思路：
进展：
3.5【AI用例编写】
思路：
应用：
3.6【AI页面检测】
思路：
进展：
04 测试管理平台接入AI能力
4.1【测试分析报告撰写】
在编写大项目的测试分析报告时，引入LLM大模型的文本+视觉能力，根据需求文档、CF文档链接或设计稿，生成初步的测试分析报告。这能有效帮助测试人员拓展思路，为撰写详尽的报告提供有力启发。
4.2【AI用例生成】
生成新功能用例时，利用LLM依据需求文档初步生成功能用例，经人工二次确认修改后，可一键导入系统。这不仅为测试人员打开了编写思路，也辅助他们编写出更全面、细致的用例。
4.3【影响用例自动识别（调研中）】
在评估影响范围时，由于受影响功能在开发阶段已确认，且相关用例已存在用例库，我们可以采用RAG/KAG模型，通过检索增强技术，快速精准定位相关用例并呈现给测试人员。这会极大节省查找时间，为回归用例的编写提供重要参考。
4.4【AI用例评审】
用例评审环节同样可以引入LLM。具体做法是制定一套严谨的评审规则，让大模型在这些规则下运行。模型会给出用例的合格分数，并提供针对性的修改意见，帮助测试人员进行优化，确保用例达到较高的质量标准。
05 更多领域探索
除了上述应用，我们还在几个方向上进行了探索，同样值得期待。
5.1【用户分析-AI辅助七鱼会话分类打标】
目标：
思路：
进度：
5.2【自动化测试平台接入AI能力】
目标：
- 目标1：阿波罗自动化测试平台实现AI辅助提效，涵盖接口测试和UI自动化测试，提升自动化执行失败和异常情况的排查能力，以及小助手自助应答率，在去年基础上提升20%。
- 目标2：自动化issue有效性在去年基础上提升10%。
思路：
- 开发Jenkins错误日志排查工具，结合常见典型错误日志特征进行聚合归类，提升问题排查分析能力。
- 利用CI链路问题排查分析能力，在上述基础上进一步按链路顺序分析，遵循常规SRE排查思路进行链路问题的识别和智能分析。
- 平台开放功能布点，当检测到自动化测试失败时，测试同学可点击智能分析快速诊断，降低排查环境或脚本问题的时间，提升平台使用体验。
- 与业务线形成合力，共同维护自动化知识库经典案例库，提升问题智能小助手的自助回答和问题分析能力。
进度：
06 持续推广使用AI
我们部门非常重视AI在提效方面的价值，也希望团队每个成员都能提升这方面的能力和意识。为此，我们制定了“三步走”计划：
- 第一步：团队进行AI相关的培训学习和考试，建立知识基础。
- 第二步：团队熟悉并掌握各类AI工具的使用，通过考试检验。
- 第三步：结合自身业务及测试能力/平台，进行AI提效思考并探索接入。
当前的核心培训是AIGC知识培训。对外分享方面，团队已在2024年MTSC大会上进行了相关分享，并计划继续投稿2025年的MTSC。质量效能公众号上也吸引了众多外部公司的测试同学，就AI建设展开热烈讨论。
07 小结
随着AI的持续发展，它对互联网及软件工程领域的巨大价值已经显现，测试领域无疑是重要的受益方之一。
AI就像一个万花筒，对测试同学而言，持续学习和掌握AI只是第一步。更关键的是，要结合实际的业务场景和诉求，合理地利用AI能力，与我们现有的系统和流程做深度结合，这才是发挥其最大价值的根本所在。
