AI AgentLLM测试自动化飞书

AI 测试官网实践:Hermes + 飞书 Bot 自动化

2024-12-207 min

一、Hermes 测试官网实践

技术架构

使用 Hermes(LLM Agent)+ MiniMax 2.7 大模型 + HuggingFace 工具生态 + 腾讯云服务器,接入 飞书 Bot 作为报告接收端,形成完整的 AI 测试闭环。

!Hermes + MiniMax + HuggingFace + 飞书

工作流程

  1. 通过飞书向 Bot 发送测试指令(口述需求)
  2. Hermes 自动拆解任务:导航测试、功能验证、截图截图、性能分析
  3. Hermes 调用 Lighthouse 工具测试核心性能指标
  4. 生成带截图的完整测试报告
  5. 报告自动推送到飞书群

!飞书Bot测试结果

核心优势

自我沉淀 Skill:Hermes 的五层架构使其越用越聪明。每次测试后,AI 会自动沉淀测试技能文档(SKILL.md),后续同类测试可直接复用,流程越来越高效。

实测案例:对 yuugeai.com 进行登录、导航、性能测试,AI 自动生成了完整的带截图测试报告,包含了火焰图分析、FCP/TBT 指标解读、路由问题发现。

!Skill自动化沉淀

性能测试能力

AI 能调用 Lighthouse 等工具,测试网站核心性能指标,生成火焰图,比人工测试更快更全面:

  • FCP(First Contentful Paint)
  • TBT(Total Blocking Time)
  • 路由问题发现(/interview 路由不存在,实际路径 /store/dashboard/profile)
  • 24 小时监控网站数据

二、大厂都在开放核心能力给 AI

飞书开放 AI 能力

飞书开放了很多核心 API 能力给 AI 调用。实测:AI 一句话预约会议,AI 自动完成日历创建、会议室预定、参会人邀请。

!飞书AI预约会议

!飞书会议预约结果

AI 写安装 Skill 而非给人写文档

像 PsySH 等技术公司,已经开始给 AI 写安装 Skill(技能文档),而不是给人写安装文档。Skill 的沉淀使 AI 能够自主执行复杂操作,人只需要做代码审查。

!Skill写给AI而非人

参考:字节 Trae AI 参考文档


三、AI 开发提效:技能沉淀

技能沉淀(Skill Creation)

利用 Hermes 可以自动沉淀技能的特性,使用 Swagger 将后台接口文档转成 AI 可理解的代码,教会 AI 去实现接口等业务功能。

核心流程:

  1. 用 Swagger 定义后台接口协议
  2. AI 读取 OpenAPI 文档,理解接口语义
  3. AI 自动生成调用代码或实现接口
  4. 人只需要做代码审查,确认逻辑正确

趋势判断

AI 一句话完成测试、预约会议、生成报告已经不是演示 Demo,而是实际可用的能力。大厂将核心能力开放给 AI,AI 通过 Skill 自主执行操作,人从执行者变为审核者,这是不可逆的趋势。


附:yuugeai.com 测试报告摘要

测试概要

  • 测试时间: 2026-04-26
  • 测试账号: 15113151557
  • 测试人: 自动化测试(Hermes AI Agent)

测试结果

  • 登录测试:通过,AI 成功完成密码登录流程,识别"Hi, 杨浩!"欢迎信息
  • 热门职位页面:功能完整,但 FCP 1684ms,首屏渲染偏慢
  • 路由问题:/interview 实际路径为 /store/dashboard/profile(与文档不符)
  • 建议:增加骨架屏/懒加载,优化大数据量请求的 API 响应时间

详细截图

!热门职位页面

!测试报告截图

报告链接:COS 完整报告

Saylo - 全栈开发工程师