像人一样使用软件，用自然语言完成 E2E 测试
基于视觉的 GUI Agent，支持 Web、移动端和桌面应用。
官网 · English / 简体中文
## 如何使用
Midscene 将视觉驱动的 GUI Agent 与编写、验证和调试 UI 测试所需的 Testing Kit 结合在一起，通过同一套 Agent API 覆盖 Web、移动端和桌面应用。下面以 Playwright 的 Web 测试为例：配置好模型，并在已有的 Playwright `page` 中打开你的应用后，就可以这样编写测试：
```typescript
import { PlaywrightAgent } from '@midscene/web/playwright';
const agent = new PlaywrightAgent(page);
// 让 Agent 完成流程，再验证结果。
await agent.aiAct('搜索耳机，然后将结果筛选为价格低于 100 美元');
await agent.aiWaitFor('筛选后的搜索结果已显示');
await agent.aiAssert('搜索结果中的每件商品价格都低于 100 美元');
```
打开生成的 HTML 报告，即可查看截图、操作与断言结果。[Playwright 集成指南](https://midscenejs.com/zh/integrate-with-playwright)提供模型配置、完整示例和测试运行器集成步骤。
## 👁️ GUI Agent
Midscene 的操作与断言都仿照人使用软件的方式：**观察屏幕，根据看到的内容操作，再检查界面呈现的结果**。你用自然语言描述任务和预期结果，Midscene 根据截图判断在哪里操作，以及界面是否符合预期。
### 视觉理解与跨平台操作
就像人从屏幕上找到控件一样，Midscene 根据元素的外观和位置进行定位，再通过点击、输入、滚动等操作完成你的指令。无需编写选择器或添加语义化标注，就能定位纯图标按钮、自定义控件、`